第二阶段，汉武帝元朔二年（前127年）春天，匈奴左贤王又大举进攻上谷郡（今河北怀来）、渔阳郡。汉军采取正面牵制、右翼远距离迂回包围战术，取得 极大成功。正面由御史大夫韩安国率700人迎击匈奴，韩安国负伤，退入营垒坚守不出，匈奴掠千余人及大批牲畜而去，继续向东侵扰。汉武帝命韩安国移师右北 平（今辽宁凌源西南）坚守，阻敌东进。汉军主力由卫青、李息二将率领，出云中（今内蒙古托克托县东北），直插至高阙要塞（今内蒙古杭锦旗黄河北岸，阴山山 脉中段大青山与狼山相连处的石兰计山口），切断了盘踞在河套内的白羊、楼烦二王与匈奴腹地的联系。卫青从这里南渡黄河，返身对河套内的白羊、楼烦二王发起 突然袭击。白羊、楼烦二王没有料到汉军会从背后袭来，仓促应战，溃不成军，率少数亲兵逃遁。汉军杀敌数千，俘敌三千，缴获牛羊百万余头，收复河套内全部失 地。
　　
　　河套战役，是西汉开国以来同匈奴作战取得的第一次重大胜利。河套战役获胜后，中大夫主父偃向汉武帝提了一条重要建议，他说，河套地区水丰地肥，蒙恬逐 匈奴、筑长城，首先争夺的就是这片战略要地。河套地区被黄河环绕着，全国各地运输来的军需物资都可以通过这里转往边境前线。把河套地区建设好，这是灭胡根 本大计。汉武帝采纳他的建议，在河套地区新置五原、朔方二郡。将原来的九原旧城（今内蒙古包头西）改为五原郡治；汉武帝把南方沟通西南夷的工程停下来，动 用十多万人在此筑朔方城（今内蒙古乌拉特前旗东南），并从内地招募十余万移民至朔方实边。这样，就把河套地区建设成了与匈奴作战的前进基地，从这里可以向 北、东、西三个方向出击。
　　
　　夺取河套地区，是一个战略态势的重大转换。匈奴占据河套时，在西汉北方防线中央部位打开了一个大缺口，进攻矛头可以直指长安，西汉朝廷心里一直发虚。西汉夺取河套，并把它建设成为进攻匈奴的前进基地后，好比转过身去向匈奴伸出了一根坚挺的长矛，匈奴心里开始发虚。
　　
　　三、阴山战役
　　
　　阴山山脉东段称大青山，西段称狼山。阴山山脉是匈奴单于王庭所在地，是匈奴的心脏地带。阴山山脉对于匈奴的重要性，《汉书•匈奴传下》中记录下了郎中 侯应给汉元帝上书中的一段话：“臣闻北边塞至辽东，外有阴山，东西千余里，草木茂盛，多禽兽，本冒顿单于依阻其中，治作弓矢，来出为寇，是其苑囿也。至孝 武世（汉武帝），出师征伐，斥夺此地，攘之于漠北。建塞徼，起亭燧，筑外城，设屯戍，以守之，然后边境得用少安。漠北地平，少草木，多大沙，匈奴来寇，少 所蔽隐，从塞以南，径深山谷，往来差难”，因此，“匈奴失阴山之后，过之未尝不哭也”。
　　
　　阴山战役史称“漠南之战”，我这里把它改称阴山战役，道理同河套战役。匈奴失去河套地区后，匈奴王庭所在地阴山山脉就失去了屏障，汉军的攻击目标直指 匈奴心腹。匈奴在焦虑不安之下，对边郡的入侵活动连续不断。汉武帝元朔二年（前127年），匈奴乘汉军忙于巩固河套地区，攻占了上谷郡造阳地（今河北省赤 城至独石口一带）。元朔三年（前126年）年初，军臣单于死，他的弟弟左谷蠡王伊稚斜与军臣单于太子於丹争立，於丹兵败降汉，西汉封於丹为涉安侯，但於丹 一个月就病死了。伊稚斜单于对汉边发动疯狂的报复性入侵，杀死代郡太守，又攻入雁门关杀掠，接着又率九万骑攻入代郡（今河北蔚县西南）、定襄（今内蒙古和 林格尔县西北）、上郡（今陕西榆林县东南）。匈奴右贤王则对失去的河套地区反复入侵抢掠。