却说许后死得不明不白，外间已经有人议论，又见淳于衍得释出狱，忽然发了一笔大财，大众早猜到其中必有原因。
及霍氏得立为后，众人恍然大悟，但碍着霍光不敢多言。如今霍光已死，便有人将此语到处传播，宣帝听说后也觉可疑，暗想此言如果属实，必须严行究办，为许后报复冤仇。只是众口喧传未得实据，且霍氏子弟布满朝廷，手握兵权势力甚大，要想惩治也难下手。如今既有此等风闻，霍氏万难亲信，须趁此时削其权力免贻后患，于是召魏相等密议处置之法。
当时度辽将军范明友为未央卫尉，中郎将任胜为羽林监，还有长乐卫尉邓广汉，光禄大夫散骑都尉赵平，统是霍光女婿。光禄大夫给事中张朔系霍光姊夫，中郎将王汉系霍光孙婿，宣帝先徙范明友为光禄勋，任胜为安定太守，张朔为蜀郡太守，王汉为武威太守；复调邓广汉为少府，收还霍禹右将军印，阳尊为大司马；特命张安世为卫将军，所有两宫卫尉，城门屯兵，北军八校尉尽受张安世节制。又将赵平的骑都尉印绶也一并撤回，但使为光禄大夫。另使许、史两家子弟代为军将。
霍禹见宣帝夺其兵权心中愤郁，于是称病不肯入朝。一日大中大夫任宣前来拜访。霍禹便命请入。任宣曾为霍氏长史，听说霍禹有病故来看视。任宣见霍禹并无病容，便故意用言挑道：“未知君候身患何病？”霍禹听了长叹道：“我有甚么病症？只是心下不甘。”霍禹呼宣帝为县官，又信口讥评道：“县官非我家将军怎得到此？今将军坟土未干就将我家疏斥，反任许史子弟夺我印绶，究竟我家有甚么大过呢？”任宣闻言劝解道：“大将军在日亲揽国权，生杀予夺操诸掌握，就是家奴冯子都王子方等也受百官敬重，比丞相还要威严。大凡盛衰各有其时，今许、史乃天子骨肉自然当贵。大司马因此怨恨，愚意以为不可。”霍禹被任宣说了一通默然无语。过了数日病假已满，霍禹只得照旧入朝。
却说霍山、霍云等见势力日孤，便常与霍显、霍禹商议，往往相对啼泣自相埋怨。霍山说道：“今丞相用事县官信之，竟将大将军所定法令尽行变易，一班儒生多系贫人客居长安，饥寒交迫喜为妄言，素为大将军所恶。今儒生人人都能上书请见，而且多言大将军过失。主上肯定不信任我辈了。”霍显勃然道：“这是魏丞相唆使要灭我家，难道他果无罪过么？”霍山说道：“丞相生平廉正却是无罪，我家行为不谨容易受谤，最可怪的是都中争言我家毒死许皇后，究竟此说从何而来？”霍显便把他们引至内室，具述淳于衍下毒实情。霍禹等不觉同声急语道：“这！这！……这事果真么？奈何不先行告知！”霍显也觉愧悔，把一张粉脸急得红一块青一块，就如无盐嫫母一般。后人有诗叹道：
不经贪贼不生灾，
大祸都从大福来；
莫道阴谋人不觉，
空中天网自恢恢。
霍山及霍云回到家中，便将霍显言语告知家人，家人听说后无不惊恐。正在举家慌张之际，霍云至友张赦来到他家，见其家人神色张惶，便为霍氏想得一计，说道：“今丞相与平恩侯擅权用事，可请太夫人速白上官太后，诛此两人翦去宫廷羽翼。天子势孤，上官太后一诏便可废去。”霍云欣然受教，张赦也即告别。
不料隔墙有耳，张赦计谋竟为家中马夫所闻，夜间告诉其他马夫。他们本是一班粗人，说完统去就寝。
却说有个颍川人名叫张章，曾在长安充当亭长，因事失官流落四方，记起与霍氏马夫相识，遂寻见马夫具言来意。马夫便留他在马枥旁下榻。张章听得众马夫相聚谈论，心中不由暗喜道：“我如今机会到了！”
朦胧半晌已报鸡声，张章照着马夫言语打定腹稿，一到天明便与马夫作别，自去缮成一书北阙呈入。
霍显夜来神思不宁，梦见霍光与语道：“汝知儿被捕否？”霍光果真有灵，应当先活捉奸夫冯子都，这全是霍显惊慌所致。霍禹也梦见车声马声前来拿人。母子清晨起床互述梦境，都很担忧。又见宅门无故自坏；屋瓦无风自飞；种种怪异不可究诘。
霍氏听说有人上书后越觉惊惶。遂使诸女各自归家报告其夫，劝其同谋举事，并说将来祸发谁也无处躲避。霍氏诸婿只得依允。侍中金赏乃金日磾之子霍光女婿，听说此事后立即上书自请去妻。
宣帝不能再容，当即派吏四出，凡霍氏家族亲戚一体拿办。霍山、霍云及范明友自知无可逃避，各寻自尽。
霍显、霍禹、邓广汉等措手不及皆被下狱。经廷尉讯出真情立即行刑，霍禹被处腰斩，霍显也遭诛，所有霍氏诸女及女婿孙婿悉数处死。所有近戚也辗转连坐，诛灭不下千家。冯子都王子方等当然做了刀头鬼。冯子都阴魂又好与霍显取乐去了。惟金赏已经去妻，幸免株连；张章受封博成侯，张章平地封侯最为侥幸。
汉宣帝杀掉霍光的子侄、老婆及女儿，对霍光家族连根拔除。但是他却肯定了霍光的历史功绩。这一点非常重要。毕竟那时候霍光已经去世，打不打击他都无关紧要。而肯定他，却让汉宣帝赢得了一个好名声。
霍光为首的霍氏集团在霍光死后短短2年就土崩瓦解，主要是因为：
1、宣帝是千古明君级的皇帝，名气虽然不比高祖、武帝，但可堪称西汉最成功的皇帝，他是中国历史上唯一一位出生不久被关到狱中的皇帝，不到一岁时就失去父母，幼年在狱中长大，少年时在市井游历，从小历经磨难、懂得隐忍，蓄势而发，这样一位皇帝是不会甘心一辈子做儿皇帝，霍氏集团的覆灭是必然的，只是时间的问题。
2、霍光大权在握时，霍家嚣张跋扈，肆意妄为，无法无天，所以无论中央还是地方上的其他势力都对其家族无比忌恨，都为把其家族除之后快，霍光一死，自然是墙倒众人推。
3、霍光揽政的时期是汉室最鼎盛的时期，经过前几位君主的励精图治，当时正是扫清六合、席卷八荒、天下归心、臣民视刘氏为唯一正统的时期。霍光死后，汉宣帝对国家掌控力不断增强，这也为除掉霍氏家族打下了基础。
霍氏被灭族后，霍成君却活了下来。也许是念着旧情，所以刘病已饶了她一命。此后霍成君搬到了昭台宫，在那儿一住便是12年。可是在公元54年，汉宣帝突然下诏，让她搬到云林馆，紧接着就传出了霍成君自尽而亡的消息。这当中的隐情要从另一个女主人公司马良娣说起了。
公元54年，病榻前奄奄一息的司马良娣，对深爱她的太子说“妾死非天命，是其他人得不到太子的宠爱，所以嫉妒我诅咒我，活活要了我的命。”
司马良娣死后，太子整日里郁郁寡欢，不再宠幸其他人，身为父亲的汉宣帝一边心疼儿子，一边联想到了往事。若是当初许平君没有被霍显毒害，他不至于形单影只，儿子也不会过早失去母爱。
愈想愈生气的刘病已，便想找一个人来出气，可惜霍家人基本死绝了，唯一活着的就一个关在冷宫里的霍成君。于是这位废后便成了汉宣帝的出气筒，当霍成君接到让她迁至云林馆的诏书时，聪慧的她已经知晓了皇帝的真正意图。
霍成君明白宣帝终究是不能容她，她苟延残喘12年，每天都过得战战兢兢。现在她终于不必再担惊受怕了，5年的夫妻缘分换来了12年的寿命，现在她应该把命还给他了。
霍成君生于王侯之家，与汉宣帝强强联姻，看似风光无限，实则隐患颇多。刘病已为了拉拢霍光，所以不得不立霍成君为后。霍家贪图权力，结亲皇家。这种功利性婚姻，始于利益，终于利益。
所以命运始终不掌握在自己手中的霍成君，成了一颗任人摆布的棋子。她与刘病已的幸福婚姻生活，只有短短5年的光景。而这种幸福，是在霍家强大的保护伞下才有的。霍氏一族被灭，她的幸福如泡沫般消失不见。为何没有追随家人而去，那是因为她的心中还有隐隐的期待。
结果12年的苦苦等待，换来的是一个要命的诏书，霍成君绝望了。以前她父母在时，她将父母当作自己的精神依赖，父母走后，她将刘病已当作自己的精神支柱，可现在她还能依赖谁呢?
生命的最后，霍成君终于认清了自己，终于当了一次自己命运的主宰，她毅然决然地选择了自尽，成全了刘病已的故剑情深。霍后死后，葬于昆吾亭东。
纵观霍成君短短的一生，15岁嫁与汉宣帝，20岁被废后，33岁自尽，如烟花般绚烂，却比烟花还寂寞。
霍氏被灭族，但是并没有牵连到皇宫中的上官氏。从此上官氏彻底失去了母族的权势，也不再过问前朝后宫的事务，一直居住在长乐宫中，直到52岁病逝。在当时人的眼中，上官氏一生极具尊荣，还掌管了后宫47年，但事实上，她只是众人手中争夺权力的筹码，没有什么实权，更没有一丝自由，实在可悲。
却说张安世有孙女名敬，嫁于霍氏亲属，适值霍氏谋反，孙女也应坐罪。张安世一向小心，今见霍氏谋反族诛，更兼孙女牵连在内，自己算与霍氏有亲，难免株累，因此心中愁苦。他年纪已老，禁不起忧虑，不过数日，容貌便瘦了许多。宣帝见他如此情形十分诧异，于是问左右是何缘故。左右便将详情诉说一番。宣帝即命赦了张安世孙女以慰其意。张安世想起霍氏败亡都因权势太盛。现在主上英明，自己领尚书事是个重要职务，一举一动须与霍氏相反方可保全。从此张安世办理政务格外谨慎周密，每遇重大政事必先入见宣帝，议定办法后再诏令发布。
安世曾向宣帝荐举一人，其人闻知后来见张安世，面谢提拔之恩。张安世听了大以为恨，说道：“举荐贤能乃是应为之事，岂有私心，何必来谢？”又有郎官功劳甚高不得升擢，自向安世申说。安世答道：“足下功高，明主自能知悉，此人臣当尽之职，何得自夸？”郎官听后只得无言退去。安世拒绝郎官之请，入见宣帝时却又陈述郎官之功，不久郎官果得升擢。
宣帝又想起张安世之兄掖庭令张贺，从前待已有恩，即位以来尚未报答。张贺有一子早死，遗有一孙，年纪甚幼，便以张安世小儿子彭祖为嗣。宣帝自幼与彭祖同窗读书，于是欲封彭祖为侯，张安世上表固辞。宣帝道：“吾自为掖庭令，非为将军也！”张安世听了不敢再言。宣帝又为张贺置守冢三十家，亲自指定地方令其居住。
宣帝既废霍后，欲就后宫择立一人为皇后。是时后宫妃嫔得宠者三人，一为华捷妤，生有一女，后封馆陶公主；一为张婕妤，生一子名钦，后封淮阳王；一为卫捷好，生一子名嚣，后封楚王。此三人中，张婕妤尤为爱幸。宣帝想起太子奭幼年失母，几为霍后所害，今若立后不慎，恐太子又遭毒手。况此三人自己都生有子女，欲其抚爱太子恐是难事，不如选择平日为人谨慎未曾生子者立之，方免后患。宣帝主意既定，遂下诏立王捷妤为皇后，使之抚养太子。
王捷妤乃长陵人，其先代本居沛县，随高祖入关有功，赐爵关内侯。传至王婕妤之父王奉光，少时性喜斗鸡，宣帝在民间时常与他聚会相识。
王氏在这样的家庭中衣食无忧，往后嫁个门当户对的，一生平安也就罢了。不幸的是王奉光将家产全败在了斗鸡上。好在王氏长得不错，到了嫁娶的年龄就有人来提亲，可是当结婚日期临近时，新郎却突然病死了。
父亲接着为她又寻下一门亲事，可是这位新郎在成亲的前几日也去世了，往后的三门亲事都是如此。事不过三，可她的五门亲事都黄了，还未出嫁新郎便死了，周围的人都说她克夫，王氏再也嫁不出去了，但王氏也不着急，她安心打理家事，给自己挣了一个贤惠的好名声。
王奉光日夜担忧，他后来想出了一个主意，就是让自己的好朋友刘病己娶了他的女儿。
刘询是在民间长大的，是位落难皇子，没有接受过良好的教育，但刘询的性格很好，亲身体会过民间疾苦，对人民的苦难非常同情。听说过王氏的事情后，刘询也不怕死，把她召入后宫立命侍寝，赐过几番雨露却又无恙。想王女命中应配皇帝。后来霍后入宫，张婕妤又复继进，宣帝无暇顾及王女，王女冷落宫中少得入御。这次宣帝册她为继后，就把太子刘奭交付给她抚育，又将岳父王奉光封为邛成侯，原先是好朋友的两人，现在成了岳父和女婿。
太子遂依王后过日，宣帝又使疏广、疏受为傅，太子得保无事。
宣帝不想皇后生儿子，所以很少与她相见。张婕妤等引作笑谈。王女虽得为后却不见宣帝宠遇，但王女安处深宫毫不争宠，一些儿没有怨言。张婕妤等仍得相安，由她挂个虚名罢了。
很多人都为汉宣帝抱不平，认为他为了保护自己与许平君的孩子而娶了个自己不爱的人做皇后，这是一件非常悲哀的事。其实立王皇后为后，对宣帝的生活并没有什么影响，他仍然可以宠爱别人；相反一个嫁为人妻的女子，不仅无法得到丈夫的爱，还要抚养别人的孩子，这才是最痛苦的！
汉元帝虽然犯了不少错误，政绩做得不算突出，可他对王氏一族还是很宽容的，看在王氏的养育之恩上，将王氏的兄弟封爵，让她顺风顺水地当着太后。
