却说宣帝与许后同由微贱出身，且是年少夫妻，自然恩爱异常。不过霍显心想皇后之位明明应属我女，如今却被许女夺去，量她一个宦官女儿，偏得正位中宫，我女反不及她，真是可恨，必须设法将她除去，我女便得安稳入宫做皇后。但是事关重大，必须筹一万全之策方可下手。霍显想来想去未得方法，只好暂时忍耐。
过了一时，许后怀孕在身将要分娩，忽然身体不适寝食难安。宣帝顾念患难夫妻格外爱护，遍召御医诊治，有人保荐女医淳于衍。宣帝见她是个妇人，照料生产更属便利，即下诏召之入宫。淳于衍奉命收拾随身衣物预备起行。其夫淳于赏现为掖庭护卫，见淳于衍行色匆匆，忽然想起一事，便对淳于衍道：“你可先往大将军府中向霍夫人告辞，然后入宫，并托霍夫人替我转求大将军，委派我为安池监。此缺甚好，若得到手，强如做此护卫。”淳于衍依言前往霍光家中。原来淳于衍素为霍氏所爱，可以任意出入，此次来见霍显，告知入宫侍疾，并将其夫求派言语说了一遍。霍显听说她入宫调治许后之病，心中一动，又闻淳于衍求派其夫差缺，猛然记起前事，觉得机会可图。于是眉头一皱计上心来，立即屏退左右，笑容满面地呼叫淳于衍的字道：“少夫，你丈夫的事情我可以帮你疏通疏通，但你若是为我干得一事，我更当从重报答，不知少夫肯否？”淳于衍不知霍显用意，以为是寻常之事，又兼正在托她谋事，势难推却，便直应道：“夫人分付有何不可，贱妾无不从命。”
霍显见淳于衍答应爽利，便说道：“我们夫妇向来喜欢小女儿，都希望她能获得尊贵，这件事情就交给你了，事成之后一定回报你。”
淳于衍忙问道：“我一个小小太医能帮什么忙?”，霍显道：“女人生孩子的时候最容易死亡，如果你给许皇后下一点毒药，那么皇后的位置自然落到霍家，我小女儿霍成君也就成了皇后。”淳于衍听后不由吓出一身冷汗，忙说道：“许皇后每次进药都有专人先尝，没法下手呀。”，霍显说：“愿不愿下毒都在你一念之间，事成之后不会忘记你，我老公位高权重，没有人敢找你麻烦。”淳于衍思考良久，也就答应了霍显。
霍显又叮咛数语，淳于衍告辞回去，也不告知其夫，密取附子捣成细末带入长定宫中。
本始三年春正月，许后临盆生下一女，安然无恙。不过产后乏力还须调理，经御医拟定一方合丸进服。淳于衍便趁无人之际，将所带附子末掺入药内做成丸药，更无一人得知。附子有毒，又加大热，然无甚气味，且平人服之也不至于死亡，独产后体虚之人最为忌服。当日左右进上丸药，淳于衍在旁看着许后将药服下。心里捏着一把汗，外面却装作无事。少顷药力发作，许后觉得身体不安，便问淳于衍道：“我服药后头觉岑岑，莫非丸中有毒？”淳于衍被她说破，心头有如小鹿乱撞，但还是咬定牙根答道：“丸中何至有毒。”一面说一面再召御医诊治。大众束手无策，许后竟中毒而崩。还幸微贱时已产一男，总算留得一线血脉。宣帝闻报到来大哭一场，只道是产后体弱以致骤脱。便依礼殡殓葬于杜南，谥为恭哀皇后。后人有诗叹道：
嬴得三年国母尊，
伤心被毒竟埋冤，
杜南若有遗灵在，
好看仇家且灭门。
淳于衍毒死许后出得宫门，便到霍显家中。霍显早已得信，心中大喜。见淳于衍到来十分礼待，背着人殷殷致谢。
霍显一心感激淳于衍，意欲从重酬劳，但因许后新崩，未敢多给财物，恐致旁人疑心。谁知不久即有人递入奏章，内言皇后暴崩，想系诸医侍疾无状，应该从严拿究。宣帝当即批准，下诏将当日医人一律收系诏狱，淳于衍也在其内。刑官审讯几次，淳于衍不肯供招，其他医官并无情弊，自然同声呼冤。问官无法，只好将他们一古脑儿囚系狱中。
霍显见淳于衍被拿下狱，日夜提心吊胆，惟恐淳于衍一口供出连累到自己身上。后来又闻刑官要将淳于衍办罪，心中愈加惶急，暗想我曾允许她有急便救，今若置之不理，倘刑官将她办成死罪，淳于衍必定拼却一命说出我是主谋，这便如何是好？霍显想到此处不禁浑身冷汗，事在危急必须迅速救出淳于衍，但除却霍光也无别人能救。于是屏退左右，将自己主谋毒死许后之事备细告知。霍光一听好似半天打个霹雳，惊得目瞪口呆，半晌不能出声。暗思事关大逆，若径去自首就使保全一门，那娇滴滴的爱妻总须头颅落地，不如代为瞒住，把淳于衍等一体开释免得及祸。于是入朝谒见宣帝，但言皇后崩逝当是命数注定，若是加罪诸医未免有伤皇仁；况诸医也没有这般大胆敢毒中宫。宣帝也以为然，遂传诏赦出诸医，淳于衍也得释出。
霍显听说淳于衍出狱回家心中始安，又见案已归结可保无事，不妨重谢淳于衍以酬其劳。于是检出蒲桃锦二十四匹，散花绫二十五匹，走珠一琲，绿绫百端，钱百万，金百斤。又为她起造居屋，赐与奴仆不可胜数。偏偏淳于衍贪心不足，背地里私自怨道：“我为她担下弥天罪过，成就何等功劳，谁知她报答我不过如此！”试想霍显为了一女害死许后，担尽许多惊恐，破费无数钱财，反被淳于衍埋怨，可见小人枉做小人，结果有何好处。
霍显自从许后死后，便为其女霍成君安排陪嫁衣装器具，力劝霍光纳入后宫，霍光只得依允。
从来少年无丑妇，况是相府娇娃，总有一些秀媚状态。宣帝年甫逾冠正当好色年华，虽然追忆前妻余哀未尽，但看了这个如花似玉的佳人，怎能不情动神移？当下优礼相待逐渐宠幸。过了一年，竟将霍成君册为继后。许后起自微贱虽贵不骄，平居衣服俭朴无华，每五日必至长乐宫朝见上官太后，亲自进食谨修妇道。而霍光女为后，与许后大不相同，出门之时，车驾煊赫侍从如云。又兼素性阔绰，所颁赏赐不下千万。比起许后，一奢一俭，相去甚远。只因上官太后谊属尊亲，不得不效仿仿许后前去侍奉。上官太后系霍光外孙女，论夫家上官太后是奶奶，论母家霍后是姨母，所以上官太后看见霍后进谒往往起立一劳特别敬礼。宣帝亦宠爱霍后，常在正宫住宿。
霍光执政的时候，汉宣帝一直不和他对抗。就算霍光提出要还政给他，但是他头脑十分清醒。他明白霍光这样做，并不是真的想还政给他，只不过想试探一下他而已。如果他当时欣然接受，那样的话霍光一定会提防他，并因此想办法打击他。说不定会找到他的不是，像当年撤换刘贺那样撤换他。
他不但不接受霍光的还政请求，而且还下达命令，所有要交给他看的奏章，要汇报的事情，都要先交给霍光看。霍光没有意见了，再交给他同意就是。
到了地节二年春，霍光年老得病渐渐沉重，宣帝听说后驾临霍光家中，亲到榻前问病，听说病势已危，医药难以挽救，不禁为之涕泣。及宣帝回宫，霍光上书谢恩，并请分自己封邑三千户给侄孙霍山为列侯，以奉霍去病之祀。
数日后霍光病死，宣帝拜霍光之子霍禹为右将军，封霍山为乐平候，以奉车都尉领尚书事。又封霍光侄孙中郎将霍云为冠阳侯，霍氏一门三侯。霍显此时居然做了太夫人，与冯子都同居俨如夫妇。
霍光死后，宣帝及上官太后亲来祭奠，使太中大夫任宣及侍御史五人持节护理丧事，中二千石以下官吏监修坟墓，赐以御用衣衾棺材。
到了葬日，灵柩装入辒辌车中，前导仪仗逐队排列，首尾长有数里。满朝文武百官皆来送葬。丧车装饰异常华丽，并用黄屋左纛一如帝制。自长安直至茂陵，一路都有军队陈列。
此段风光不亚于天子出丧，长安士民扶老携幼齐来观看。宣帝下诏赐谥宣成侯，遣官为他起坟墓祠堂，置园邑三百家，设官看守，依时祭奠。
霍禹、霍山修建住屋极其华丽，又不时出外游行，驰逐平乐观一带。霍云更是放荡，每当朝见之日往往私自出外，带领宾客架鹰牵犬张围大猎，却使苍头奴持了名帖上朝挂号，有司畏其势力不敢责备。霍显与诸女任意出入长信宫，日夜无度。
却说御史大夫名叫魏相，以前治郡有方深得民心。在任茂陵令时，御史大夫桑弘羊的亲戚坑骗乡里，鱼肉百姓。魏相辨明真伪，不畏权贵，将其收捕治罪，并杀于街市示众，从此茂陵大治。在河南太守任上，他整顿吏治，考核实效，禁止奸邪，当时豪强无不畏服。因政绩突出，后被征为谏议大夫。宣帝即位后，征魏相为大司农，后升为御史大夫。
魏相见霍氏所为不成体统，便请许广汉带领入见宣帝。魏相一见宣帝便说：“自霍光去世，其子霍禹复为右将军，侄孙霍山现居政府，兄弟诸婿皆据高位。霍光夫人霍显及诸女在长信宫皆有名籍，或夤夜称诏开门出入，宜设法减夺其权破其阴谋，以固万世之基，并可保全功臣之后。”宣帝久闻霍氏家人倚势横行，心中已是不喜，因看霍光面上不便究问。今闻魏相之言甚合其意，点头称善。又过数日，魏相复由许广汉面请宣帝，除去副封以免壅蔽。原来旧例人民上书须备正副两封，先由领尚书者开拆副封观看，若是所言不善便将原书搁起不奏。今宣帝依从魏相之言除去副封，人民所上之书不须由霍山过目。霍山虽领尚书事，但已毫无权力。宣帝准许群臣单独进见言事，霍显觉得情形不妙，便唤霍禹、霍山、霍云等说道：“汝辈奉承大将军遗业，不思保全自己地位，若有人进言离间何以自救？”霍禹等闻言也不在意，谁知不久真正闹出事来。
原来霍氏一班家奴，霍光在日倚借主势气焰凌人，谁也不敢将他得罪。如今霍光虽死，但他们骄横已惯，也不肯稍稍敛迹。一日霍氏家奴与御史大夫家奴同在路上行走，偏是冤家路窄两下相让，彼此争执良久。霍氏家奴大怒，率领众人闯入御史府中，府中人见了连忙关门。
霍氏家奴闯破大门。御史对着众人叩头谢罪方才息事。旁人见了十分不平，一时议论纷纷，都说霍氏家奴目无法纪欺人太甚，霍显闻之方知忧惧。此时丞相韦贤年老多病，便向宣帝辞职，宣帝赐以黄金驷马归第。宣帝拜魏相为丞相，以丙吉为御史大夫，二人同心辅政，宣帝甚加倚任。魏相不时入见宣帝商议政事。
宣帝又宠信平恩侯许广汉及侍中金安上，许其任意出入宫中。
地节三年，宣帝立刘奭为皇太子，时年八岁。霍显听说后愤怒异常，不肯进食，对家中人说道：“此乃帝在民间时所生之子，岂可立为太子！将来皇后有子，反要为王，向他称臣朝拜，实在使人不甘。”乃悄悄的入见霍后，叫她毒死太子，免为所制。霍后依着母命，怀着毒物，屡召太子赐食，拟乘间下毒。偏宣帝早已防着，密嘱保姆随时护持，每当霍后与食，必经保姆先尝后进，累得霍后无从下手，只好背地咒骂衔恨不休。有其母必有其女。
