会魏大夫为丞相，数燕见言事；平恩侯与侍中金安上等径出入省中。时霍山领尚书，上令吏民得奏封事，不关尚书，群臣进见独往来，于是霍氏甚恶之。上颇闻霍氏毒杀许后而未察，乃徙光女婿度辽将军、未央卫尉、平陵侯范明友为光禄勋，出次婿诸吏、中郎将、羽林监任胜为安定太守。数月，复出光姊婿给事中、光禄大夫张朔为蜀郡太守，群孙婿中郎将王汉为武威太守。顷之，复徙光长女婿长乐卫尉邓广汉为少府。戊戌，更以张安世为卫将军，两宫卫尉、城门、北军兵属焉。以霍禹为大司马，冠小冠，亡印绶；罢其屯兵官属，特使禹官名与光俱大司马者。又收范明友度辽将军印绶，但为光禄勋；及光中女婿赵平为散骑、骑都尉、光禄大夫，将屯兵，又收平骑都尉印绶。诸领胡、越骑、羽林及两宫卫将屯兵，悉易以所亲信许、史子弟代之。
初，孝武之世，征发烦数，百姓贫耗，究民犯法，奸轨不胜，于是使张汤、赵禹之属，条定法令，作见知故纵、监临部主之法，缓深、故之罪，急纵、出之诛。其后奸猾巧法转相比况，禁罔浸密，律令烦苛，文书盈于几阁，典者不能遍睹。是以郡国承用者驳，或罪同而论异，奸吏因缘为市，所欲活则傅生议，所欲陷则予死比，议者咸冤伤之。
廷尉史巨鹿路温舒上书曰：“臣闻齐有无知之祸而桓公以兴，晋有骊姬之难而文公用伯。近世赵王不终，诸吕作乱，而孝文为太宗。繇是观之，祸乱之作，将以开圣人也。夫继变乱之后，必有异旧之恩，此贤圣所以昭天命也。往者昭帝即世无嗣，昌邑淫乱，乃皇天所以开至圣也。臣闻《春秋》正即位、大一统而慎始也。陛下初登至尊，与天合符，宜改前世之失，正始受命之统，涤烦文，除民疾，以应天意。臣闻秦有十失，其一尚存，治狱之吏是也。夫狱者，天下之大命也，死者不可复生，绝者不可复属。《书》曰：‘与其杀不辜，宁失不经。’今治狱吏则不然，上下相驱，以刻为明，深者获公名，平者多后患，故治狱之吏皆欲人死，非憎人也，自安之道在人之死。是以死人之血流离于市，被刑之徒，比肩而立，大辟之计，岁以万数。此仁圣之所以伤也，太平之未洽，凡以此也。夫人情，安则乐生，痛则思死，棰楚之下，何求而不得！故囚人不胜痛，则饰辞以示之；吏治者利其然，则指导以明之；上奏畏却，则锻练而周内之。盖奏当之成，虽皋陶听之，犹以为死有馀辜。何则？成练者众，文致之罪明也。故俗语曰：‘画地为狱，议不入；刻木为吏，期不对。’此皆疾吏之风，悲痛之辞也。唯陛下省法制，宽刑罚，则太平之风可兴于世。”上善其言。
十二月，诏曰：“间者吏用法巧文浸深，是朕之不德也。夫决狱不当，使有罪兴邪，不辜蒙戮，父子悲恨，朕甚伤之！今遣廷史与郡鞠狱，任轻禄薄，其为置廷尉平，秩六百石，员四人。其务平之，以称朕意！”于是每季秋后请谳时，上常幸宣室，斋居而决事，狱刑号为平矣。
涿郡太守郑昌上疏言：“今明主躬垂明听，虽不置廷平，狱将自正；若开后嗣，不若删定律令。律令一定，愚民知所避，奸吏无所弄矣。今不正其本，而置廷平以理其末，政衰听怠，则廷平将召权而为乱首矣。”
昭帝时，匈奴使四千骑田车师。及五将军击匈奴，车师田者惊去，车师复通于汉；匈奴怒，召其太子军宿，欲以为质。军宿，焉耆外孙，不欲质匈奴，亡走焉耆，车师王更立子乌贵为太子。及乌贵立为王，与匈奴结婚姻，教匈奴遮汉道通乌孙者。
是岁，侍郎会稽郑吉与校尉司马喜，将免刑罪人田渠犁，积谷，发城郭诸国兵万馀人与所将田士千五百人共击车师，破之；车师王请降。匈奴发兵攻车师；吉、喜引兵北逢之，匈奴不敢前。吉、喜即留一候与卒二十人留守王，吉等引兵归渠犁。车师王恐匈奴兵复至而见杀也，乃轻骑奔乌孙。吉即迎其妻子，传送长安。匈奴更以车师王昆弟兜莫为车师王，收其馀民东徙，不敢居故地；而郑吉始使吏卒三百人往田车师地以实之。
上自初即位，数遣使者求外家；久远，多似类而非是。是岁，求得外祖母王媪及媪男无故、武。上赐无故、武爵关内侯。旬月间，赏赐以巨万计。
中宗孝宣皇帝上之下地节四年（乙卯，公元前六六年）
春，二月，赐外祖母号为博平君；封舅无故为平昌侯，武为乐昌侯。
夏，五月，山阳、济阴雹如鸡子，深二尺五寸，杀二十馀人，飞鸟皆死。
诏：“自今子有匿父母、妻匿夫、孙匿大父母，皆勿治。”
立广川惠王孙文为广川王。
霍显及禹、山、云自见日侵削，数相对啼泣自怨。山曰：“今丞相用事，县官信之，尽变易大将军时法令，发扬大将军过失。又，诸儒生多窭人子，远客饥寒，喜妄说狂言，不避忌讳，大将军常雠之。今陛下好与诸儒生语，人人自书对事，多言我家者。尝有上书言我家昆弟骄恣，其言绝痛；山屏不奏。后上书者益黠，尽奏封事，辄使中书令出取之，不关尚书，益不信人。又闻民间讙言‘霍氏毒杀许皇后’，宁有是邪？”显恐急，即具以实告禹、山、云。禹、山、云惊曰：“如是，何不早告禹等！县官离散、斥逐诸婿，用是故也。此大事，诛罚不小，奈何？”于是始有邪谋矣。
云舅李竟民善张赦，见云家卒卒，谓竟曰：“今丞相与平恩侯用事，可令太夫人言太后，先诛此两人。移徙陛下，在太后耳。”长安男子张章告之，事下廷尉、执金吾，捕张赦等。后有诏，止勿捕。山等愈恐，相谓曰：“此县官重太后，故不竟也。然恶端已见，久之犹发，发即族矣，不如先也。”遂令诸女各归报其夫，皆曰：“安所相避！”
会李竟坐与诸侯王交通，辞语及霍氏，有诏：“云、山不宜宿卫，免就第。”山阳太守张敞上封事曰：“臣闻公子季友有功于鲁，赵衰有功于晋，田完有功于齐，皆畴其庸，延及子孙。终后田氏篡齐，赵氏分晋，季氏颛鲁。故仲尼作《春秋》，迹盛衰，讥世卿最甚。乃者大将军决大计，安宗庙，定天下，功亦不细矣。夫周公七年耳，而大将军二十岁，海内之命断于掌握。方其隆盛时，感动天地，侵迫阴阳。朝臣宜有明言曰：‘陛下褒宠故大将军以报功德足矣。间者辅臣颛政，贵戚太盛，君臣之分不明，请罢霍氏三侯皆就第；及卫将军张安世，宜赐几杖归休，归存问召见，以列侯为天子师。’明诏以恩不听，群臣以义固争而后许之，天下必以陛下为不忘功德而朝臣为知礼，霍氏世世无所患苦。今朝廷不闻直声，而令明诏自亲其文，非策之得者也。今两侯已出，人情不相远，以臣心度之，大司马及其枝属必有畏惧之心。夫近臣自危，非完计也。臣敞愿于广朝白发其端，直守远郡，其路无由。唯陛下省察。”上甚善其计，然不召也。
禹、山等家数有妖怪，举家忧愁。山曰：“丞相擅减宗庙羔、菟、蛙，可以此罪也。”谋令太后为博平君置酒，召丞相、平恩侯以下，使范明友、邓广汉承太后制引斩之，因废天子而立禹。约定，未发，云拜为玄菟太守，太中大夫任宣为代郡太守。会事发觉，秋，七月，云、山、明友自杀，显、禹、广汉等捕得；禹要斩，显及诸女昆弟皆弃市；与霍氏相连坐诛灭者数十家。太仆杜延年以霍氏旧人，亦坐免官。八月，己酉，皇后霍氏废，处昭台宫，乙丑，诏封告霍氏反谋者男子张章、期门董忠、左曹杨恽、侍中金安上、史高皆为列侯。恽，丞相敞子；安上，车骑将军日磾弟子；高，史良娣兄子也。
初，霍氏奢侈，茂陵徐生曰：“霍氏必亡。夫奢则不逊，不逊必侮上。侮上者，逆道也，在人之右，众必害之。霍氏秉权日久，害之者多矣。天下害之，而又行以逆道，不亡何待！”乃上疏言：“霍氏泰盛，陛下即爱厚之，宜以时抑制，无使至亡。”书三上，辄报闻。其后霍氏诛灭，而告霍氏者皆封，人为徐生上书曰：“臣闻客有过主人者，见其灶直突，傍有积薪，客谓主人：‘更为曲突，远徙其薪，不者且有火患。’主人嘿然不应。俄而家果失火，邻里共救之，幸而得息。于是杀牛置酒，谢其邻人，灼烂者在于上行，馀各以功次坐，而不录言曲突者。人谓主人曰：‘乡使听客之言，不费牛酒，终亡火患。今论功而请宾，曲突徙薪无恩泽，焦头烂额为上客邪？’主人乃寤而请之。今茂陵徐福，数上书言霍氏且有变，宜防绝之。乡使福说得行，则国无裂土出爵之费，臣无逆乱诛灭之败。往事既已，而福独不蒙其功，唯陛下察之，贵徙薪曲突之策，使居焦发灼烂之右。”上乃赐福帛十匹，后以为郎。
帝初立，谒见高庙，大将军光骖乘，上内严惮之，若有芒刺在背。后车骑将军张安世代光骖乘，天子从容肆体，甚安近焉。及光身死而宗族竟诛，故俗传霍氏之祸萌于骖乘。后十二岁，霍后复徙云林馆，乃自杀。
班固赞曰：霍光受襁褓之托，任汉室之寄，匡国家，安社稷，拥昭，立宣，虽周公、阿衡何以加此！然光不学亡术，闇于大理；阴妻邪谋，立女为后，湛溺盈溢之欲，以增颠覆之祸，死财三年，宗族诛夷，哀哉！
臣光曰：霍光之辅汉室，可谓忠矣；然卒不能庇其宗，何也？夫威福者，人君之器也。人臣执之，久而不归，鲜不及矣。以孝昭之明，十四而知上官桀之诈，固可以亲政矣，况孝宣十九即位，聪明刚毅，知民疾苦，而光久专大柄，不知避去，多置亲党，充塞朝廷，使人主蓄愤于上，吏民积怨于下，切齿侧目，待时而发，其得免于身幸矣，况子孙以骄侈趣之哉！虽然，向使孝宣专以禄秩赏赐富其子孙，使之食大县，奉朝请，亦足以报盛德矣；乃复任之以政，授之以兵，及事丛衅积，更加裁夺，遂至怨惧以生邪谋，岂徒霍氏之自祸哉？亦孝宣酝酿以成之也。昔椒作乱于楚，庄王灭其族而赦箴尹克黄，以为子文无后，何以劝善。夫以显、禹、云、山之罪，虽应夷灭，而光之忠勋不可不祀；遂使家无噍类，孝宣亦少恩哉！
九月，诏减天下盐贾。又令郡国岁上系囚以掠笞若瘐死者，所坐县、名、爵、里，丞相、御史课殿最以闻。