耿恭恍然大悟，这定然是窦固第一次北征时，耿忠和班超在北匈奴内部埋下的闲棋子。这枚“闲子”在如此危急的时刻出现，令他心里大为感叹。
与韬略深不可测的班超而言，自己只能望其项背。班仲升啊班仲升，吾耿恭自五陵原时代起便不服汝。今日看来，汝仍高吾一头。今日西域这个大舞台上，先帝“断匈奴右臂”国策，或便独自维持了！
按照段彭的撤退部署，段彭和王遵是想以自身吸引单于注意力，掩护耿恭与王蒙部从楼兰脱身，最后他们再率部经伊吾庐，通过星碛山退回河西。
耿恭略感震惊，兵力本就不足，又分兵撤退，南北两路随时有被敌缠上的危险。情势危急，耿恭选择直接进言，“将军，太守只有区区四千人，柳谷非久留之地，宜迅速收拢防范被各个击破。应速东进，顺商道跳出包围圈，撤向伊吾庐宜禾都尉府，再出星碛山返河西！”
皇甫援蹙了一下眉头，但略思忖便觉得耿恭说得有理，于是便道，“吾即报太守，按校尉之策东返。请校尉即刻启程南下！”
“末将遵令！”耿恭领命。
虽然看出皇甫援的不悦，因事关重大，耿恭临行前又补充道，“再请将军派出驿吏，速将战况通报宜禾都尉曹钱将军，请其派兵西进接应太守！另耿秉将军必在星碛山驻有汉军以预防不测，请将军再派驿吏，调星碛山汉军前出南山口，防备疏榆谷匈奴人倾巢南下断太守退路！”
“星碛山有汉军？”皇甫援闻言大为震骇，“好，末将一切照办……”
耿恭困守孤城一年有余，与外界完全隔绝，各部位置这些绝秘军情，他是如何知晓的？这等厉害人物，怪不得单于二万人愣是奈何他不得！
耿恭率军穿过车师绿洲南下，至柳中城时，与王蒙合兵一处。侦骑探报木都、呼衍砭一日之后才能到柳中，耿恭与王蒙便抓住战机，快速进入茫茫的大沙漠，向楼兰城撤退而去。
耿恭离开后，皇甫援未敢迟疑，迅速派出驿吏，将耿恭之策驰报段彭、王遵。并派出驿吏，通报宜禾都尉曹钱与星碛山守将孙彪和楚良。段彭、王遵接信后，闻耿恭已经脱身南下，便挥军撤离狂风呼啸的柳谷，马不停蹄快速东进撤向伊吾庐绿洲。
汉军在车师前国摆出防守架势后虚晃一枪，便分两路快速撤退。只到两天后，蒲奴单于、呼衍王、万骑长呼衍砭才率大军先后赶到车师前国。见汉军已经撤军，单于便命南呼衍部幕师木都将南线兵轻装深入沙漠，务要追击擒获耿恭。
而单于自己则亲率呼衍王、左鹿蠡王两部共三万余骑，顺商道向东追击，一心想吃掉段彭、王遵的数千人。大军进入伊吾庐绿洲一天后，便冲击到了白杨河边，北方已远远望见巍峨的伊吾庐城，此时汉军赤旗飞扬，早已经在白杨河以西绿洲上以逸待劳，结成一个万人大阵挡住了去路。
段彭、王遵刚到达伊吾庐，孙彪与楚良率领一千劲卒便也赶了过来，还带来了耿秉的将令，“令段彭、王遵率本部兵、宜禾都尉府属兵、孙彪楚良部、歙渠和陈留的伊吾营，在伊吾庐击破北单于，使其不敢犯宜禾都尉府！”
现在段彭集中了八千余汉军，便在白杨河以西绿洲上摆开了大战的架势。结果双方一场混战后，段彭退回伊吾城北的北大营，霜刺、歙渠、陈留则率伊吾营退入伊吾庐城。
单于令呼衍王率万骑围伊吾庐城，而他自己则率左鹿蠡王两万余人围北大营。但伊吾庐是坚城，北大营也是坚营，整整三天，单于攻击未能得手。
相持到第三天，斥侯禀报段彭，山北疏榆谷的北匈奴左贤王优留部已越过山巅攻击南山口，受到汉军痛击。段彭不敢等了，当天夜里五更之时，他与敦煌太守王遵突然率全军出营反击，打了左鹿蠡王一个措手不及，左鹿蠡王部被迅速击溃，向西退去。
按照计划，段彭、王遵应率部再夹击围攻伊吾庐城的呼衍王部，但呼衍王闻单于兵败，便不顾一切地退兵西去，于是段彭、王遵开始全线追击，大军一直追杀到五道沟才收兵回营。
左贤王部闻单于兵败退去，便又迅速缩回了山北。
这次大战后，在接下来的几个月中，北匈奴各部未再犯伊吾庐城。段彭、王遵则在伊吾庐休整十余日后，班师返回河西。
伊吾庐方向汉军被单于缠住，幸好耿秉的征西将军府提前预有安排，令单于铩羽而归。但向楼兰撤退的耿恭、王蒙部却遇到了**烦，分兵撤退的恶果很快便到来。
耿恭与王蒙进入沙漠后，因王蒙左肩负伤，且已经发烧，人昏昏沌沌，因而中军行军速度便稍慢了一些，拖累了全军的行程。
耿恭屡次进谏，王蒙都松松垮垮，不以为然，逼急了便恼火地斥责道，“吾军已离柳中三日，北匈奴人并不知吾军去向。另郑大人定命徐干部出蒲昌海接应，匈奴人岂能敢越过此山？校尉勿要草木皆兵！”
耿恭闻言隐隐生怒，但又无可奈何。这个宫廷谒者未领教过北匈奴铁骑长途远袭的厉害，高烧已经让他失去了基本的判断。如此懈怠行军，一旦木都赶上来，汉军要吃大亏。