其实褚燕之所以看到轻骑兵出现伤亡之后便马上退兵，是因为老刘在他带兵出营之前，曾经向他交待过，今天攻城的主要目的是震慑城中的匈奴士兵，让他们知道轻骑兵的厉害，不能让轻骑兵出现大量伤亡。因此他才在开始的时候尽展轻骑兵所长，一上来便消灭了近千名匈奴士兵，但是不管怎么说，只要攻城就必然会有伤亡，而且如今是匈奴人守城，占了地利，因此汉军如果强行攻城，也不是攻不下单桓城，但是估计即使攻下了单桓城，轻骑兵的伤亡也会不小，因此褚燕才让已经过了护城河的轻骑兵马上退回来，等他们回到高平等人身后，褚燕命令高平带着那一千名轻骑兵继续用连弩和标枪向城墙上的敌人发动攻击，他已经看出了城中的匈奴士兵并不是很多，因此只要汉军躲在他们的弓箭射程之外，用连弩和标枪攻击敌人，就会逐渐消耗敌人的兵力，使得城中的匈奴骑兵不断的减员，这样汉军在最后敌人的兵力消耗的差不多时在发起致命一击，单桓城必可一鼓而下。
看到汉军故技重施，呼衍青急忙指挥匈奴士兵继续按照刚才的方法，城墙上留下的少量士兵都躲在墙垛下边，监视城外汉军的动静，而其他士兵则全都撤到城墙下边比较安全的地方，这样即使汉军的攻击再猛，匈奴士兵的伤亡也会比刚受到这种方式的攻击时少的多。
看到城墙上的匈奴士兵都躲到城墙下边去了，褚燕便指挥汉军再次渡过护城河，竖起云梯向城墙上发起了第二次攻击，而匈奴士兵有了第一次胜利的经验，因此也不再向开始的时候那么惧怕汉军了，这次他们的防守做的更好，轻骑兵同样在丢下了几十具战死士兵的尸体之后，再次撤回到了城外的安全地带。
经过了两次的攻防之后，时间也已经到了中午时分，褚燕看看单桓城也不是能够轻易攻下来的，于是便带着轻骑兵返回了大营，先让轻骑兵吃饱了肚子之后，下午再接着攻打单桓城。
结果到了下午，汉军故技重施，仍然用上午的方式来进行攻城，虽然这次比上午的战果要好一些，曾经有几个轻骑兵竟然顺着云梯爬上了城墙，只是由于呼衍青亲自带着他的亲兵与城墙上的匈奴骑兵拼死攻击，才把轻骑兵的攻势挡了下来，而呼衍青自己也受了轻伤，等到了傍晚时分，汉军停止了攻城之后，呼衍青派手下的一名千夫长去清点了一下如今城中士兵的人数，结果经过一天不算激烈的战斗，原来的五千名匈奴士兵如今还剩下三千人，另外根据千夫长的统计，他们今天也消灭了大约二百多名汉军。
虽然两军的伤亡人数悬殊，但是呼衍青也知道这主要是由于刚一接战时汉军的那两种武器所造成的，毕竟匈奴士兵从未见过那些武器，因此才会出现较大的伤亡，后来的战斗由于自己指挥得当，死伤的士兵就比开始的时候少得多了，能剩下三千人也算不错了，于是呼衍青让大家赶紧休息吃饭，等到了子时，他便带着这些人弃城而逃，去追赶呼衍王单于的大队人马。
城外的老刘和戏志才早已经知道了城中匈奴人的打算，前天晚上汉军的探子便发现大部分匈奴人已经逃离了单桓城，队伍中的老人、妇女和孩子也不少，因此老刘和戏志才得到消息后，便知道这是匈奴人打算继续向西逃跑了，这也正中老刘的下怀，因此老刘和戏志才商量了一下，决定不去追杀他们，毕竟给他们留下一定的实力，也便于他们将来在西方的生存，至于城中剩下的那些士兵，今天通过双方几次拉锯式的攻防战，也被轻骑兵消灭了不少，估计剩下的那些匈奴士兵今晚也该撤退了，戏志才本来还想建议派一支队伍去他们逃跑的道路上设下埋伏，将其一网打尽，但是后来一想老刘所说过的话，还是给他们留下了一条生路，所以戏志才最后也没有把这个主意说出来，也正因为如此，才令呼衍青带着的三千匈奴士兵当晚顺利逃出了单桓城，然后趁着夜色消失在通往西方的道路上。