光武帝览毕，将原疏颁示公卿，另行下诏道：
自古明王圣主，必有不宾之士，伯夷叔齐，不食周粟；太原周党，不受朕禄，亦各有志焉。其赐帛四十匹，许遂所志。
党受诏即归，与妻子隐居渑池，著书成上下篇，寿考终身。邑人共称党为贤，设祠致祭，岁时不绝。唯东海人王良，受官沛郡太守，迁任大中大夫，进为大司徒司直，在位恭俭，妻子不入官舍，布被瓦器，如寒素时。司徒史鲍恢，因事至东海，过候王家，良妻布裾曳柴，方从田间归来，恢素未相识，错疑是良家佣妇，便昂然与语道：“我为司徒掾属，便道至此，欲见王司直夫人！”良妻答道：“妾身便是！掾史得无劳苦么？”恢不禁惊讶，慌忙下拜，并问良妻有无家书。良妻答称在官言官，不敢以家事相烦。恢叹息而还。贤妇风范，比义夫尤为难得。后来良因病辞归，病愈后应征复起，道出荥阳，探访故友。故友不肯出见，但传语道：“不有忠言奇谋，乃窃取大位，岂不可耻？奈何尚仆仆往来，不自惮烦呢？”良听了此言，未免自惭，乃谢病归里，终不就征。此外尚有太原人王霸，隐居养志，亦被征入都，引见时称名不称臣，有司向霸诘问，霸答道：“天子有所不臣，诸侯有所不友，原是儒生本分呢！”时大司徒伏湛免官，进用尚书令侯霸为大司徒，侯霸素重王霸名，情愿推贤让能，王霸独乞病告归，偕妻逃隐，茅屋蓬户，安享余年。又如北海人逄萌，雁门人殷谟，累征不起，并为逸民。
最著名的乃是七里滩边的钓夫，羊裘一袭，遗范千秋，小子述及姓名，想看官应亦早有所闻，此人非别，本姓是庄，单名为光，表字子陵，会稽郡余姚县人。汉史避明帝名讳，改庄为严。因此后人只称他为严子陵先生，不叫他做庄子陵。特别提出，复特别辨明。光武帝少时游学，曾与他一同肄业，到了光武即位，他却移名改姓，避家他去。光武帝忆念故人，令会稽太守访问踪迹，不见下落；再令海内各处搜求，亦无影响。光武帝终不肯忘怀，口述形容，使画工绘成肖像，到处物色。“天下无难事，总教有心人。”果然有人奏报，说在齐国境内，有一男子身披羊裘，屡钓泽中，面目与画图相似。光武帝大喜道：“这定是子陵无疑了！”仿佛得宝。忙命有司备安车，携玄纁，往齐礼聘。严光接着，尚未肯自道姓名，只说是：“朝廷误征。”使臣哪里肯放？不论他是真是假，定要请他上车，三请三却，毕竟一难当十，被朝使手下的随员，前推后挽，竟将他拥至车上，飞驰入都。光武帝闻光到来，尚防他乘间逸去，特命就舍北军，妥给床褥，使太官主膳之官。朝夕进膳，奉若神明。大司徒侯霸，与光为旧识，忙使部属侯子道，奉书问候。光踞坐床上，启书读讫，半晌才顾问道：“我与君房相别已久，侯霸字君房。君房素有痴疾，今得为三公，痴疾可少愈否？”奇人奇语。子道答道：“位居鼎足，怎得再痴？”光正色道：“既无痴疾，为何遣汝来此？”子道接口道：“司徒闻先生辱临，本欲即来问候，适因公务匆忙，未能脱身，愿俟日暮稍闲，前来受教。”光又笑道：“汝言君房不痴，这岂不是痴想么？天子使人征我，三请方来，我尚不欲见人主，难道就先见人臣？”子道听罢，也不便多与絮聒，但求光复书还报。光托言手不能书，只好口授，因接说道：“君房足下，位至鼎足，甚善。怀仁辅义天下悦，阿谀顺旨要领绝！”说到末语，便即住口。子道再欲请益，光大笑道：“君莫非来买菜么？求益何为？”原是够了。子道乃返报侯霸。霸将光语录出，封奏进去。光武帝微哂道：“这也是狂奴故态，不足计较！”说着，即命驾出宫，亲往访光。早有人向光报闻，光置之不理，高卧如故，佯作闭目熟睡状。亦太矫情。光武帝亲至床前，见光坦腹卧着，因用手抚腹道：“咄咄子陵，何故不肯相助为理？”光仍然不起，良久始张目熟视，也不陈谢，但答说道：“从前唐尧有天下，帝德远闻，尚有巢父洗耳。士各有志，奈何相迫如是？”光武帝喟然道：“子陵，我竟不能屈汝么？”乃升舆还宫。既而令侯霸邀光入阙，略迹谈情，与叙旧事，光始从容坐论，不复倨傲。光武帝婉颜问光道：“君看我比前日何如？”光答道：“似胜往时！”光武帝鼓掌大笑，留光食宿，与同寝卧。光用足加帝腹上，伪作鼾声，好一歇方才移去。到了诘旦，即由太史入奏，谓客星侵犯御座，状甚危迫。光武帝笑说道：“朕与故人子陵共卧，难道便上感天象么？”因面授光为谏议大夫，光并不称谢，亦不辞行，拂袖自去。返至富春山中，仍旧做那耕钓生涯，年至八十乃终。今浙江省桐庐县南，有严陵濑，与七里滩相接，背后有山，叫做严山，山下有石，能容十人，就是严光钓鱼处，俗呼为严子陵钓台。地因人传，流芳百世，可见得亮节高风，比那封侯拜相，还要光荣十倍哩！热中者可以返省。这且搁过不提。
且说渔阳告平以后，光武帝尝使茂陵人郭伋，就任渔阳太守。伋镇抚百姓，纠除群盗，境内咸安。唯卢芳窃据北塞，屡引匈奴兵入寇，大为边患。伋复整勒士马，修缮堡寨，阻绝胡骑南下，一尘不惊，人民得安居乐业，户口日蕃，中外都称为贤太守。会因大司空宋弘，有事免职，朝臣多举伋代任。光武帝以卢芳未平，不便将伋内调，所以未曾允议。建武七年春三月晦日，太史又奏称日食，有诏令百官各上封事，毋得言圣。当时杜林郑兴等人，弃嚣归乡，见前回。统由光武帝闻名召入，各授官职：林为侍御史，兴为大中大夫。此次因变陈言，谓应俯从众议，调任郭伋为大司空，且言日月交会，数应在朔，今日食每多在晦，乃是月行太速，故有此变。君为日象，臣为月象，君元急故臣下促迫，致见咎征，望陛下垂意洪范，勉思柔克等语。光武帝也优诏褒答，唯仍不愿调回郭伋，却令妹夫李通代任。通首先倡义，弼成大业，身尚公主，仍然谦恭自持，不敢骄盈，故得保全爵位，以功名终。富贵寿考，全赖谦冲。太傅褒德侯卓茂，已经病殁，特赐棺茔地，表彰耆硕。叙笔载明生卒，亦无非阐扬名士。并因前侍御史杜诗，累任沛郡汝南各都尉，所在称治，乃更调任南阳太守。南阳为光武帝故乡，从龙诸臣，半出南阳，历任太守，反视为畏途，只恐得罪贵戚。及杜诗莅郡，兴利除害，政治清平，无论贵贱，一体翕服。又修治陂池，广拓土田，在郡数年，家给人足，时人比诸前汉的召信臣。信臣曾为南阳太守，也是一位施德行惠的好官。南阳人所以传出两语云：“前有召父，后有杜母。”小子亦有一诗，录述于后：
黄堂太守一麾来，万汇全凭只手栽；
召父已亡推杜母，养民毕竟仗贤才。
转眼间又是一年，光武帝顾念陇西，又要遣将往讨了，欲知何人西征，待至下回发表。
隗嚣据有西州，自称上将军，因时乘势，崛起图功，原不必定居人下。迨既受邓禹之承制封拜，则君臣之名义已定，又何得再怀反侧乎？设当光武讨蜀之时，率兵效命，功且十倍窦融，他日即不得封王，公侯可坐致也。乃惑于蜚言，反复不定，始则助汉而诛蜀使，继且叛汉而为蜀臣，同一屈膝，朝秦暮楚胡为者？况洛阳如旭日，而蜀如朝露，一可恃，一不可恃，于可恃者而背之，不可恃者而亲之，甚矣其愚也！彼如严子陵之孤身高蹈，抗礼阙廷，后世不讥其无君，反称其有节，诚以其敝屣富贵，超出俗情，云台诸将，且不能望其项背，遑论隗氏子哉！若周党王霸逄萌诸人，亦子陵之流亚，而王良其次焉者也，然亦足以风矣。