却说霍显心虚情怯，悔惧交并，霍禹对显道：“既有此事，怪不得县官斥逐诸婿，夺我兵权，若认真查究起来，必有大罚，奈何奈何！”霍山霍云，亦急得没有主意。还是霍禹年纪较大，胆气较粗，自思一不做二不休，将错便错，索性把宣帝废去，方可免患。比母更凶。忽又见赵平趋入道：“平家有门客石夏，善观天文，据言天象示变，荧惑守住御星，御星占验，主太仆奉车都尉当灾，若非罢黜，且遭横死。”霍山正为奉车都尉，听了平言，更觉着忙。就是霍禹霍云，亦恐自己不能免祸。正在秘密商议，又有一人进来，乃是云舅李竟好友，叫做张赦。云亦与交好，当即迎入，互相谈叙。赦见云神色仓皇，料有他故，用言探试，便由云说出隐情。赦即替他设策道：“今丞相与平恩侯，擅权用事，可请太夫人速白上官太后，诛此两人，翦去宫廷羽翼，天子自然势孤。但教上官太后一诏，便好废去。”云欣然受教，赦也即告别。
不意属垣有耳，竟为所闻，霍氏家中的马夫，约略听见张赦计谋，夜间私议。适值长安亭长张章，与马夫相识，落魄无聊，前来探望。马夫留他下榻，他佯作睡着，却侧着耳听那马夫密谈，待至马夫谈完，统去就寝，便不禁暗喜，想即借此出头，希图富贵。心虽不善，但不如此，则霍氏不亡。朦胧半晌，已报鸡声，本来张章粗通文墨，至此醒来，又复打定腹稿，一至天明，即起床与马夫作别，自去缮成一书，竟向北阙呈入。宣帝本欲杜除壅蔽，使中书令传诏出去，无论吏民，概得上书言事。一面由中书令逐日取入，亲自披览。至看到章书，就发交廷尉查办，廷尉使执金吾官名。往捕张赦、石夏等人。已而宣帝又饬令止捕。
霍氏知阴谋被泄，越觉惊惶。霍山等相率聚议道：“这由县官顾着太后，恐致干连，故不愿穷究。但我等已被嫌疑，且有毒死许后一案，谣言日盛，就使主上宽仁，难保左右不从中举发，一或发作，必致族诛。今不如先发制人，较为得计！”已经迟了。乃使诸女各报夫婿，劝他一同举事。各婿家也恐连坐，情愿如约。会霍云舅李竟，坐与诸侯王私相往来，得罪被拘。案与霍氏相连，有诏令霍云霍山，免官就第，霍氏愈致失势。只有霍禹一人，尚得入朝办事。百官对着霍禹，已不若从前敬礼，偏又经宣帝当面责问，谓霍家女入谒长信宫，注见前回。何故无礼？霍家奴冯子都等，何故不法？说得禹头汗直淋，勉强免冠谢罪。乃退朝回来，告知霍显以下等人，胆小的都吓得发抖，胆大的越激动邪心。显忐忑不安，夜间梦光与语道：“汝知儿被捕否？”光果有灵，当先活捉冯子都，这全是霍显惊慌所致。霍禹也梦车声马声，前来拿人。母子清晨起床，互述梦境，并皆担忧。又见白昼多鼠，曳尾画地，庭树集鸮，恶声惊人。宅门无故自坏，屋瓦无风自飞，种种怪异，不可究诘。
地节四年春月，宣帝求得外祖母王媪，及母舅无故与武，当即称王媪为博平君，封无故为平昌侯，武为乐昌侯，许、史以外，又多了王门贵戚，顿使霍家相形见绌，日夜愁烦。霍山独怨恨魏相，侈然语众道：“丞相擅减宗庙祭品，如羔如兔龟，并皆酌省。从前高后时，曾有定例，臣下擅议宗庙，罪应弃市。今丞相不遵旧制，何勿把他举劾呢！”霍禹霍云，尚说此举只有关魏相，未足保家。因复另设一计，欲使上官太后邀饮博平君，召入丞相平恩侯等，令范明友、邓广汉引兵突入，承制处斩，趁势废去宣帝，立霍禹为天子。计议已定，尚未举行，又由宣帝颁诏，出霍云为玄菟太守，任宣为代郡太守。接连又发觉霍山过恶，系是擅写秘书，应该坐罪，不如意事，纷至沓来。霍显替山解免，愿献城西第宅，并马千匹，为山赎罪，书入不报。哪知张章又探得霍禹等逆谋，往告期门官名。董忠，忠转告左曹杨恽，恽又转达侍中金安上。安上系前车骑将军金日
宣帝不能再容，当即派吏四出，凡霍氏家族亲戚，一体拿办。范明友先得闻风，驰至霍山霍云家内，报知祸事。山与云魂胆飞扬，正在没法摆布，便有家奴抢入道：“太夫人第宅，已被吏役围住了！”山知不能免，取毒先服，云与明友次第服下，待至捕役到门，已经毒发毙命，惟搜得妻妾子弟，上械牵去。那霍显母子，未得预闻，竟被拘至狱中，讯出真情，禹受腰斩，显亦遭诛，所有霍氏诸女，及女婿孙婿，悉数处死。甚至近戚疏亲，辗转连坐，诛灭不下千家。冯子都、王子方等，当然做了刀头鬼，与霍氏一门，同赴冥途去了。冯子都阴魂，又好与霍显取乐，只可惜要碰着霍光了。惟金赏已经去妻，幸免株连。霍后坐此被废，徙居昭台宫。金安上等告逆有功，俱得加封，安上受封都成侯，杨恽受封平通侯，董忠受封高昌侯，张章受封博成侯，平地封侯，张章最为侥幸。侍中史高，也得受封乐陵侯。
先是霍氏奢侈，茂陵人徐福，已知霍氏必亡，曾诣阙上书，请宣帝裁抑霍氏，毋令厚亡。宣帝留中不发，书至三上，不过批答了闻知二字。及霍氏族灭，张章等俱膺厚赏，独不及徐福。有人为徐福不平，因代为上书道：
臣闻客有过主人者，见其灶直突，旁有积薪。客谓主人，更为曲突，远徙其薪，否则且有火患。主人默然不应。俄而家果失火，邻里共救之，幸而得息。于是杀牛置酒，谢其邻人，灼烂者在于上行，余各以功次坐，而不及言曲突者。人谓主人曰：“向使听客之言，不费牛酒，终无火患。今论功而请宾，曲突徙薪无恩泽，焦头烂额为上客耶？”主人乃悟而请之。今茂陵徐福数上书，言霍氏且有变，宜防绝之。向使福说得行，则国无裂土出爵之费，臣无逆乱诛灭之败。往事既已，而福独不蒙其功，惟陛下察之！愿贵徙薪曲突之策，使居焦发灼烂之右。
宣帝览书，心下尚未以为然，但令左右取帛十匹，颁赐徐福。后来总算召福为郎，便即了事。时人谓霍氏祸胎，起自骖乘，见八十一回。宣帝早已阴蓄猜疑，所以逆谋一发，便令族灭。但霍光辅政二十余年，尽忠汉室。宣帝得立，虽由丙吉倡议，终究由霍光决定，方才迎入。前为寄命大臣，后为定策元勋，公义私情，两端兼尽。只是悍妻骄子，不善训饬，弑后一案，隐忍不发，这是霍光一生大错。惟宣帝既已隐忌霍光，应该早令归政，或待至霍光身后，不使霍氏子弟蟠踞朝廷，但俾食大县，得奉朝请，也足隐抑霍氏，使他无从谋逆。况有徐福三书，接连进谏，曲突徙薪，也属未迟。为何始则滥赏，继则滥刑，连坐千家，血流都市。忠如霍光，竟令绝祀，甚至一相狎相偎的霍后，废锢冷宫，尚不能容，过了十有二年，复将她逐锢云林馆，迫令自杀。宣帝也处置失策，残刻寡恩。后世如有忠臣，能不因此懈体否！孔光、扬雄未始不鉴此虑祸，遂至失操，是实宣帝一大误处。
宣帝既诛灭霍家，乃下诏肆赦，出诣昭帝陵庙，行秋祭礼。行至途中，前驱旄头骑士，佩剑忽无故出鞘，剑柄坠地，插入泥中，光闪闪的锋头，上向乘舆，顿致御马惊跃，不敢前进。宣帝心知有异，忙召郎官梁邱贺，嘱令卜易。贺为琅琊人氏，曾从大中大夫京房受教易学。房出为齐郡太守，宣帝求房门人，得贺为郎，留侍左右。贺正随驾祠庙，一召即至，演蓍布卦，谓将有兵谋窃发，车驾不宜前行。宣帝乃派有司代祭，命驾折回。有司到了庙中，留心察验，果然查获刺客任章，乃是前大中大夫任宣子。宣坐霍氏党与，已经伏诛。章尝为公车丞，逃往渭城，意欲为父报仇，混入都中，乘着宣帝出祠，伪扮郎官，执戟立庙门外，意图行刺。偏经有司查出，还有何幸？当然枭首市曹。宣帝亏得梁邱贺，得免不测，因擢贺为大中大夫给事中。嗣是格外谨慎。
为了立后问题，几踌躇了一两年。当时后宫妃嫔，共有数人得宠，张婕妤最蒙爱幸，生子名钦；次为卫婕妤，生子名嚣；又次为公孙婕妤，生子名宇；此外还有华婕妤，但生一女。宣帝本思立张婕妤为后，转思婕妤有子，若怀私意，便与霍氏无二，如何得保全储君。乃更择一无子少妒的宫妃，使登后位。拣来拣去，还是长陵人王奉光的女儿，入宫有年，已拜婕妤，可令她作为继后，母养太子。王奉光的祖宗，曾随高祖入关，得邀侯爵，至奉光时家已中落，斗鸡走狗，落拓生涯，宣帝曾寄养外家，得与相识。奉光有女十余岁，颇具三分姿色，只生就一个怪命，许字了两三家，往往克死未婚夫。到了宣帝嗣阼，奉光女尚未适人，宣帝追怀旧谊，发生异想，把她召入后宫，立命侍寝，赐过了几番雨露，王女幸得承恩，宣帝却也无恙。想是王女命中应配皇帝。后来霍后入宫，张婕妤又复继进，或挟贵，或恃色，惹得宣帝一身无暇顾及王女，遂致王女冷落宫中，少得入御。不过宣帝却还未忘，命王女为婕妤，得令享受禄秩。王女心已知足，安处深宫，一些儿没有怨言，膝下也无子女。至此竟由宣帝选就，册为继后，就把太子奭交付了她，嘱令抚育。张婕妤等，都诧为异事，引作笑谈。惟王女虽得为后，仍不见宣帝宠遇，且情性甚是温和，毫不争夕，所以张婕妤等仍得相安，由她挂个虚名罢了。王女知足不辱，却是一个贤妇。