话说武帝元狩三年秋，匈奴伊稚斜单于起兵复仇，分为两路，每路各有胡骑数万，攻入右北平、定襄两处，杀略人民千余人而去。单于得胜回国，料想汉兵必复来攻，遂与赵信计议。赵信自兵败降胡，单于因其在汉年久，熟知中国情形，甚加宠任，封之为自次王，以其姊嫁之，又为筑城使之居祝赵信因教单于度过沙漠，迁居北方，勿近边塞，引诱汉兵深入，乘其疲困击之，必能取胜。单于信从其计，遂将人畜悉数移至漠北居祝武帝闻报匈奴来侵，正拟发兵征讨，又闻单于移居之计，遂召卫青、霍去病等议道：“赵信为单于设计北迁，其意以为我兵不能远度沙漠，久留其地。我今大发士卒，多备粮食，剿灭匈奴，在此一举。”元狩四年春，武帝乃命大将军卫青、骠骑将军霍去病，各率马兵五万、步兵数十万、公私之马十四万匹，分道前进。武帝因见霍去病胆略过于卫青，欲令往当单于，遂命选取敢战深入之兵皆属去病，使去病由定襄出发。后捕得胡人，据说单于现在东方，武帝信以为实，乃复命去病兵出代郡，卫青兵出定襄，约期度过沙漠，共击匈奴。二将所领人马，数目相同，惟霍去病部下却无裨将，遂用李广之子校尉李敢等为大校，以当裨将。李广见武帝大举伐胡，却不命其为将，心中不悦，遂自向武帝请行。武帝道：“将军年纪已老，不可再临战阵。”李广一再固请，武帝沉吟良久，方始应允，遂拜李广为前将军，与左将军公孙贺、右将军赵食其、后将军曹襄俱属于大将军卫青。卫青与霍去病领命，带同将士，择定吉期出发。卫青兵由定襄出塞，于路捕获胡人，问知单于所在，自率大军兼程前进。却命李广与赵食其合兵取道东行，约期会合。李广心想，东行路势弯曲，多需时日，且沿途水草甚少，不能供给大队人马，尚须分作数队，缓缓而行，此明是大将军不欲我立大功，所以使我行此远路，遂对卫青道：“臣所部系属前将军，当为先锋击敌。今大将军乃调臣使出东路，不知何意？且臣束发从戎，即与匈奴交战，直至今日，始得一当单于，臣愿率领所部，效死前敌。”卫青闻言，不允其请。李广遂固辞不愿东行，卫青见李广违令，乃用强制手段，饬长史作成檄书，行下李广幕府；一面对李广道：“将军速回所部，遵照檄书行事。”
李广见卫青强其遵令，心中愤怒，现于颜色，遂也不向卫青告辞，奋然走出，回到自己军营，会合赵食其领兵就道。说起卫青与李广，平日并无仇怨，此次何以不令其为前部？只因卫青临行之际，武帝曾密嘱道：“李广年老数奇，勿使往当单于，恐被单于逃走，不得成擒。”卫青既受武帝密嘱，自己又与公孙敖至好，公孙敖因前次出师，误了军期，失去侯爵，现在军中为校尉，卫青意欲提拔他立功复爵，故调开李广，而以公孙敖代为前部。李广虽不知武帝有此言语，却知卫青欲将公孙敖代己立功，因此愤愤不平。卫青既打发李广去了，自己催兵北进，行千余里，度过沙漠，正与单于大队相遇。单于探得汉兵来攻，预备迎敌。赵信献计道：“汉兵度漠远来，人马疲乏，我可坐待其至，信手擒来。”于是单于遂将辎重送往北方，自率精兵，驻札漠北，远见汉兵到来，列阵以待。卫青防备胡骑驰突，下令用武刚车环绕为营。武刚车乃是一种兵车，车箱四围皆有板壁，上安小窗以备了望，旁开箭眼，四围环列刀枪，使敌骑不得冲突，弩箭不能贯穿，算是当日行军利器。卫青立定营盘，先遣马队五千，前往挑战，匈奴亦遣万骑迎敌。两阵对圆，正待交战，此时日已将没，大风忽起，吹得尘沙滚滚，扑人面目，两军对面不能相见。卫青复遣骑兵数万，分为左右翼前进，包围匈奴。两下交战良久，天色已晚，单于见汉兵甚多，士马精强，知难取胜，恐为所擒，趁着薄暮，乘坐六骡，率领劲骑数百，尽力冲出围外，直向西北而去。汉兵不知，仍与胡兵力战至夜，彼此暗中相持，杀伤大略相等。后汉军左校捕得胡人，据言单于未昏之时，早已逃去。卫青闻信，急发轻骑乘夜往追，自率大军继进。此时胡兵亦已战得筋疲力尽，各自散去。卫青意欲追捉单于，率领将士疾驰一夜，马不停蹄，直到天明，行有二百余里，竟不见单于踪迹。又前行至寘颜山赵信城，得匈奴积谷。卫青入城驻军一日，因其粮食、人马皆得饱餐。到得次日，卫青见匈奴并无动静，不敢再行深入，遂传令班师。所余积谷尚多，不能搬运，于是放起一把火来，将一座赵信城烧个罄尽，然后起行。卫青行至沙漠之南，方与李广、赵食其军队相遇。原来李广、赵食其，由东路进兵，路径不熟，半途迷惑失道，以致迟误期日，此时方到。李广见过卫青，回到自己军中。卫青遣长史持了酒醪干饭，赠与李广。因传卫青言语，问二将失道原因，并道青欲上书天子，具报此种情形。李广明知卫青有意与己为难，未即对答。
长史见李广不答，便到李广幕府内，责备军吏，催其即作报告。李广闻知愈怒，便对长史道：“诸校尉无罪，是我自行失道，如今吾自报告，不必累及他人。”长史既去，李广气愤已极，自己行至幕府，对着麾下诸将士说道：“广自束发与匈奴交战，大小七十余次。今从大将军出师，幸得与单于对敌，而大将军竟使广由别路进兵，路途既远，又迷失道，岂非天意？广现年已六十余，安能复对刀笔之吏，任其舞弄文墨，诬加罪名。事已如此，惟有一死。”说罢，拔出佩刀，自刎而死。一班将士出其不意，急待救时，已是无及。先是李广与从弟李蔡，俱事文帝为郎，景帝时二人皆官二千石。武帝元朔五年，李蔡为轻车将军，从大将军卫青击右贤王有功，封乐安侯。及元狩二年，丞相公孙弘病死，武帝遂用李蔡为丞相，李蔡为人平庸，无甚才略，名誉远在李广之下，竟得拜相；李广累着战绩，威名远播，部下将校或取封侯，而自己历官不过九卿，不得爵邑，以此居常快快不乐。一日与望气王朔相语，因向之问道：“自汉击匈奴，广未尝不从军征进，历数诸将之中，才能不及中人，以军功得侯者数十人。广自问不在人后，然而竟无尺寸之功，取得封邑，岂吾相不当封侯乎？”王朔见说答道：“将军自思平日所作之事，至今有所悔恨否？”李广道：“吾记为陇西太守时，羌人谋反，吾诱降八百余人，恐其为变，同日杀之，至今独有此事，心中悔恨。”王朔道：“祸莫大于杀已降，将军所以不得封侯，正为此事。”后人因武帝数奇一言，遂谓李广命运不好。但论起李广将才，也算难得，前后领兵四十余年，待遇兵士宽缓不苛，每得赏赐，即分与部下；行军遇有困乏之处，大众饥渴，必俟士卒尽饮，方肯自饮；士卒尽餐，方肯进食。其射法尤为有名，遇见敌人，非在数十步之内，自料不中，不肯妄发，发即应弦而倒，因此不免为敌所困，即射猛兽亦常被伤。至是自杀，远近之人闻之，无论知与不知，皆为流涕。清人谢启昆有诗咏李广道：猿臂无双意气超，白檀弥节慑天骄。草中没石惊飞虎，塞上持鞍看射雕。秦陇杀羌降鬼怨，灞陵诛尉醉魂销。数奇恨少封侯相，绝幕风凄泣故僚。李广有子三人，长名当户，次名椒，皆为郎官，事武帝，当户早死，武帝乃拜其弟椒为代郡太守。二人皆先李广而死，独少子李敢，此次以校尉从骠骑将军霍去病出塞，立有战功。未知去病如何战胜匈奴。