却说昌邑王刘贺做了皇帝，可他却没有一点做皇帝的样子。他不仅不同霍光和大臣们商议国家大事，反而将昌邑的那些打鼓的、斗狗的、耍把戏的人员都弄到皇宫里来，叫他们陪着自己玩儿，并随意给他们赏钱。居丧期间，宫里不允许吃肉，他却偷偷地派人到宫外去买鸡、猪，然后宰了大吃大喝。他闲着没事儿，就跑到汉昭帝的后宫去奸污宫女。
刘贺梦见在皇宫西门的台阶东侧，有一大堆绿头苍蝇的粪便，约有五六石之多，上面盖着大片的屋瓦。刘贺向龚遂询问，龚遂说：“陛下身侧的奸佞之人很多，就像您在梦中见到的苍蝇粪便一样。希望陛下将昌邑旧人中的奸佞之徒全部逐出朝廷。我龚遂以身作则，第一个走。”刘贺不加理会，根本听不进龚遂的话。
汉书记载：刘贺受玺以来27天内干了1127件荒唐事，平均一天40件。这个数字确实惊人!试问一个孩子能有多荒唐，有没有故意夸大之嫌？要知道汉代有严厉的规定，皇帝是不准干预《起居注》记载的。但霍光不是皇帝，作为政治高手，他是不是干预了记载皇帝起居的官员呢？
事实上这是霍光等大臣的托词。真实的原因恐怕是刘贺即位之后，急于提拔自己从昌邑带来的僚属，想用这些旧臣来亲政。这点就得罪了大将军霍光，霍光能够把持朝政那是辛苦经营而来，刘贺怎么可能会那么容易拿走呢，于是双方就产生了冲突。可论权谋手段，刘贺岂是霍光的对手。霍光悄悄地叫人把他的心腹大司农田延年找来，并将他延入密室，屏退从人问以方法。
田延年道：“将军为国柱石，既知此人不可为君，何不奏闻太后，另选贤人立之。”霍光道：“吾意也是如此，但以臣废君，不知古代曾有此事否？”延年道：“昔日伊尹为商朝宰相，废太甲以安宗庙，后世皆称其忠。将军若能行此，也是汉之伊尹也。”
原来霍光未曾读书，不知伊尹之事，所以史官说其不学无术。如今既闻田延年之言，便引入为给事中。一面又与车骑将军张安世秘密计议此事，除他三人之外别人一无所知，刘贺更是终日昏昏毫无知觉。
时当六月，正是大热时候，偏偏连日阴沉不雨。一日刘贺正要出游，光禄大夫夏侯胜进谏道：“上天久阴不雨，臣下必有异谋，陛下将欲何往呢？”刘贺闻言大怒，斥为妖言惑众，立命左右将胜缚住发交有司究办。有司转告霍光，霍光暗思夏侯胜语似有因，于是提胜到来亲加研讯，夏侯胜从容答道：“《洪范传》有言，人君无道上天降罚。皇极不守现象常阴，白昼常阴，下人且谋代上位。臣不便明言，但云臣下有谋。”霍光闻言大惊，也不由刘贺主意，即将夏侯胜释放复任原官。
霍光想废立之事不宜再延。便一面与张安世着手预备，一面遣田延年密报丞相杨敞。杨敞本霍光故吏，霍光料他必然同意。因为他现为丞相，位居百僚之首，所以预先告明，免得会议之时惊慌失措。田延年奉命到杨敞家中备细说知。杨敞一听吓得汗流满背，不知如何答话。田延年起身出外更衣，杨敞独自坐在室中，杨敞之妻为司马迁女，这时急从东厢趋出对杨敞说道：“大将军已有成议，特使九卿来报君侯，君侯若不亟允，祸在目前了！”杨敞迟疑未决，可巧田延年更衣归座，杨敞妻不及回避，索性坦然相见，与田延年当面认定，愿奉大将军教令。田延年还报霍光，霍光又念起苏武现在免官家居，遂邀其共同谋议，一则自己可以取信于国人，二则苏武也可以借此恢复官位。
霍光不动声色，暗中布置十余日，诸事都已完备。于是遍召丞相御史将军列侯等齐集未央宫会议。
百官闻命陆续到来，其中只有少数预谋之人知道此会非同小可，心中各自担惊。此外大都不知所议何事。不消片刻众人到齐，大众眼光注定霍光一人。只听霍光说道：“昌邑王昏庸无道，恐怕要危害社稷，大家说应该怎么办呢?”群臣见霍光不称刘贺为皇帝而称昌邑王，一个个都吓得说不出话来。田延年看这情行不由站起身来，手按剑柄说道：“先帝把天下托付给大将军，是因为大将军忠厚贤明，能够安定刘家的天下。今天大将军作出的决定，容不得半点迟疑，谁要是不响应，我马上砍了他的脑袋!”霍光道：“所有责任由我来负。”群臣听了都趴在地上磕头说：“我们一定遵从大将军的命令!”于是霍光让尚书令把事先写好的奏章拿出来，请大臣们在上面一一签名。
此奏章乃霍光预先作就，群臣署名已毕，又随同霍光前往长乐宫入见皇太后，备述昌邑王淫乱情形，说他不可以嗣大位，请太后下诏废之，太后准奏。霍光即请太后备齐车驾前往未央宫，预备升坐承明殿宣诏，又请太后下诏，遍饬各禁门守卫之人勿使昌邑群臣擅入。
恰值刘贺入朝太后初回。守门宦者早已奉到太后诏书，望见刘贺入内便一拥上前将门闭上，不让昌邑群臣入内。此时刘贺如在梦中，外间举动丝毫不知。见众人无故关门闭户，觉得诧异便问何为？霍光在旁跪下答道：“皇太后有诏，不许昌邑群臣入内。”刘贺道：“既是皇太后有诏，不妨从容办理，何至如此惊人？”言罢入内。
早有车骑将军张安世带领羽林骑兵，将昌邑群臣悉数拿下，共得二百余人，连龚遂、王吉等一并在内，送交廷尉究治。一面报知霍光，霍光传入昭帝旧日侍臣，命其守卫刘贺。并嘱道：“汝等须留心守卫，万一羞愤自尽，使我负杀主之名，何以对天下。”诸人领命入内。刘贺见左右近侍皆新来之人，又听说昌邑群臣被缚，但不知自己当废，便问道：“我旧日从官因何得罪，大将军竟将他们悉数囚系？”左右答道：“不知。”
少顷使者持节到来，说是皇太后有诏来召。刘贺对使者说道：“我有何罪？太后却来召我？”使者也答不知。刘贺没法，只得乘车随同使者前往。
当日上官太后披着珍珠缀成的短袄，穿着盛装坐在未央宫承明殿武帐之中。侍御数百人排列两旁，手中皆持兵器。不久使者领了刘贺到来，太后命刘贺俯伏殿前听诏，旁有尚书令手持群臣奏章高声读道：
丞相臣敞、大司马大将军臣光、车骑将军臣安世等，昧死言皇太后陛下：臣等认为高皇帝因为创建汉朝基业，所以称汉太祖，孝文皇帝因为仁慈节俭被称为太宗，如今昌邑王行为放纵不合法度。宗庙重于君。陛下未见高庙受命，不可以承天序，奉宗庙，子万姓，应当废黜。臣等昧死以闻。
尚书令读罢奏章，皇太后宣诏曰：“可。”刘贺听说自己被废惊倒在地。霍光便令刘贺起拜受诏。刘贺急道：“古语有言，天子有诤臣七人，虽无道，不失天下。”霍光不待说完便接口道：“皇太后有诏废王，怎得尚称天子？”于是上前抓住他的手，解下他身上的玺印绶带，捧上交给太后，扶着昌邑王下了宫殿，走出金马门，群臣跟着送行。昌邑王向西面拜道：“我愚昧不明事理，不堪担当汉朝的重任。”起身坐上皇帝侍从的车辆。霍光把昌邑王送到昌邑邸后，告罪说道：“大王自绝于天下，臣下也没有办法。臣下宁可对不起大王，也不能对不起国家。从今天起，臣下就不能再服侍大王了，请大王多多保重!”说罢伤心涕泣而去。
刘贺既废朝中无主，霍光便请上官太后暂住未央宫临朝听政，又移夏侯胜为长信少府，赐爵关内侯，请他教授太后书经。其实太后年纪尚小，不知处断政务，又是霍光外孙女，也不敢自出主意。凡事皆由霍光拟定办法后奏闻太后，太后无不照准。
霍光见废立之事虽已成功，尚有刘贺与昌邑群臣须分别处置。遂请太后下诏群臣会议办法，群臣上奏说：“古代被罢黜放逐之人都流放到很远的地方，不使他干扰国家政令，我们请求把昌邑王迁到汉中房陵县。”
房陵县被称为“帝王流放之都”，战国七雄中的赵王、唐中宗、周恭帝等人都在这里住过很多年，吕不韦、嫪毐的门客、北宋赵廷美等人也被发落到这里。若是刘贺被扔到此处，倒也符合身份。
霍光没有对刘贺这么狠，他让刘贺回到了故土昌邑，还把从前昌邑王的财物都还给他，又赐给他两千户汤沐邑，他的四个姐妹也各自得到一千户的汤沐邑。这些赠送的东西可以维持住刘贺基本的体面。
作为被废的皇帝朝廷自然要有所惩处，刘贺之前是昌邑王，现在改为山阳郡，昌邑国除。
昌邑群臣被拿下狱，经廷尉逐人提出审讯，录取供词复奏。霍光命将二百余人一律处斩，昌邑相安乐也在其内，此时追悔不及，惟中尉王吉、郎中令龚遂屡次进谏得免死刑，髡为城旦。
到了行刑之日，原昌邑二百余人均被绑赴市曹斩首。赴死途中，有人高呼道："当断不断，反受其乱。"这句话只有一个解释，那就是他们曾经计划除掉霍光，但进度缓慢，最后被后者捷足先登反杀了。
由此可以推断，霍光罢黜刘贺的原因绝不是几件不合礼仪的荒唐事，而是昌邑旧部想扳倒自己。于是霍光先下手为强，他早已将宫廷事务抓在手里，禁卫军的兵权也换到了自己的亲信张安世手上，宫廷事务则由田延年掌控，所以这位老兄敢在朝堂上拿着宝剑威胁人。而完成最后一击的皇太后，她是霍光的外孙女。
刘贺被废后说过一段话："我本人愚笨，当不了皇帝。"这个意思是说，有霍光在，我当皇帝太难了。
从这些可以看出，霍光是个小心谨慎，手段高明的政治人物。由他主导废立皇帝的事，事后的官方档案记载里肯定不会出现丝毫不利于自己的记录。
至于昌邑群臣所坐罪名，不过是不能辅导，陷王于恶，依律原不至死，况二百余人中大多是马卒厨夫官奴等人，更不能责以大义，而霍光不问轻重一体骈诛，是不是有些过分呢。
后人有诗叹道：
国家为重嗣君轻，
主昧何妨作变更；
只是从官屠戮尽，
滥刑毕竟太无情。
霍光虽然带领大汉朝走进了“汉宣之治”，但是他也有奸诈的一面：把持朝政、危害朝臣、废立皇帝。虽然功不可没，但狡诈之心也昭然于天下。
却说刘旦死后，他的同母弟刘胥并没有警醒。这位广陵王更是一个荒唐的王爷，他从小不爱读书，是个纯粹的武夫。他的最大爱好就是空手与熊、野猪等猛兽搏斗。要是一般人，早吓得魂飞魄散了，人家刘胥一点都不怂，你要是刺客，想要谋杀他，那真是比登天还难，人家跟李元霸一个级别的。
可惜汉武帝并不喜欢这个力能扛鼎的儿子，没有选择他作为继承人。
刘胥虽然头脑简单，野心却比自己的哥哥还大。他一心想成为皇帝，但方式却完全不同。刘旦到处联络准备造反，刘胥没那么大的胆子，他的手段是诅咒，只要谁当上皇帝，他就诅咒谁。他的思路是将所有可能的继承者都咒死了，皇位就该轮到他了。
当时他信任一个叫做李女须的女巫。汉昭帝在位时，不断诅咒汉昭帝，想不到的是，刘弗陵真的驾崩了。元平元年，长安城传来讣告，皇帝陛下过早地离开了我们，享年二十岁，朝廷成立以霍光为首的治丧委员会。收到消息，刘胥表面上非常悲痛，感觉天塌了，实际上心里早就乐开了花。陛下没有儿子，先帝爷健在的皇子就剩我一个，皇位十有八九应该让我来坐。从这天起，广陵王心里就非常煎熬，怎么立我为天子的诏书还没到呀！是朝廷的问题？还是物流的问题？效率太慢了！终于，盼星星，盼月亮，总算把诏书盼来了。
可是一接旨，刘胥傻眼了，新皇不是他，而是昌邑王刘贺，年方十八，小鲜肉一枚！刘胥气急败坏，说好的国赖长君呢！一打听，原来是霍光不同意，"王本以行失道，先帝所不用，光内不自安"，说刘胥德行太差，先帝都看不上他，大臣们要相信孝武皇帝的眼光。再说刘胥年龄太大了，不好控制，刘贺初来乍到，小白兔一只，比较好忽悠。
接连错过两次机会，广陵王又气又恼，他还不死心，让巫师诅咒刘贺。很快，刘贺真的倒大霉了，朝廷宣布：刘贺只当了二十七天皇帝，就犯下上千条罪状，平均每天三四十条，皇太后决定将他废黜。太好了，这回总该轮到我了吧！刘胥暗自得意。一段时间后，诏书又来了，大意是新帝即位，普天同庆，封广陵王子刘圣、刘曾、刘宝、刘昌为列侯，刘弘为高密王，赏赐非常丰厚。儿子们都得到好处，刘胥却高兴不起来，他说："我大哥的的孙子能够当皇帝，怎么就轮不到我呢？女巫！快出来，给本王接着诅咒！
这回巫师不灵验了，诅咒了好久，死的是霍光，汉宣帝安然无恙。他不仅大权在握，还立了太子，确定了汉帝国未来的接班人。刘胥垂垂老矣，知道皇位彻底轮不到自己了，就让女巫停止工作。
可一段时间后，发生了两件不愉快的事情。刘胥的儿子刘宝在外地杀了人，被废除了爵位；回到广陵，又和父亲的姬妾私通，最后被官府处死。刘胥名下的良田又被朝廷没收，分给了贫苦百姓。晚年丧子，利益受损，刘胥怒不可遏，把前段时间辞退的女巫又请回来，继续诅咒皇帝。刘询啊刘询，看本王咒不死你！
俗话说：常在河边走，哪有不湿鞋。刘胥诅咒天子的事情败露了。中央成立专案组，千里迢迢赶赴广陵，彻查刘胥图谋不轨等违法行为。刘胥吓得魂飞魄散，起初想要隐瞒，把女巫通通毒死，然而在铁的事实面前，纸终究包不住火，一切狡辩都是徒劳的。审讯后，犯罪嫌疑人刘胥对违法事实供认不讳，他希望见一见家人，与他们做最后的告别，专案组同意了。
当天晚上，刘胥把妻妾、儿子们都叫来，在显阳殿摆酒，大吃大喝，唱"卡拉OK"，用实际行动，上演一出中国版"最后的晚餐"。快活的时间非常短暂，公鸡打鸣，太阳出来了，刘胥心里明白，自己的末日即将来临，他对太子刘霸说；"陛下待我不薄，我却深深辜负了他，我死后，应该会暴尸街头吧。如果朝廷允许我入土为安，只需草草埋葬就可以了，不用大操大办。说完便自杀了。汉宣帝见刘胥已死，考虑到他是汉武帝的儿子，自己的爷爷辈，就同意他安葬在神居山自己修建的陵墓里。黄肠题凑、金缕玉衣也可以用，皇恩浩荡，收买人心。刘霸等人废为庶民，广陵国也不存在了，由朝廷直接管辖。后来汉元帝即位了，又将刘霸重新立为广陵王，传承了好几代。这是后话。
