3月5日凌晨，天还没亮的时候，赤井直正忽然被侍卫从睡梦中叫醒。
“殿下，快出去看！”侍卫的一句话就让赤井直正顿时睡意全无，“红叶军撤了！”
赤井直正随手披上一件衣服，就快速跑到营内的望塔上去。不一会儿的功夫，波多野家的足立基助、芦田国住、荒木氏纲等重臣分分抵达。又过了一会，连山名佑丰和一色义道也亲自来到了望塔上。
“红叶军真的撤了。”赤井直正看着稻井城外拔营撤退的红叶军，而明智军的水色桔梗却依旧待在稻井城下，似乎没有离开的意思。
“明智军不撤吗？”足立基助有些意外地笑道，“之前还担心他们跑得太快，咱们追不上呢？现在倒好，明智光秀根本不想走？红叶军都走了，难道我们还怕他？咱们赤井殿下和韧井殿下就能把他给收拾了，现在还有山名殿下和一色殿下的援军，打他不是砍瓜切菜？”
“不可轻敌，可能有诈。”赤井直正看到明智军的反应却是没有那么乐观，“会不会雨秋红叶根本没死…现在只是诈败，因我们追击，然后去而复返打我们一个措手不及？”
“赤井殿下多虑了吧。”山名佑丰不以为然地摇了摇头。
“不管如何，还是小心为上。”赤井直正应了山名佑丰一声，同时向足立基助吩咐道，“你带着1000人，去东北的园部城一带坚守，以防止红叶军在撤退后绕路突袭我们大军。”
“殿下…这…”足立基助闻言有些为难，“这里都是山区，红叶军现在向着东边撤去的话…想要到园部城，就要先走35里的山路回龙山城，再走35里的山路去园部，这山路他们估计要走两天才能到吧。有这两天，明智军早被我们干掉了。”
“红叶军以神速著称，不可大意。”赤井直正依旧坚持着自己稳妥的主张，“去吧。”
“是。”足立基助自然不会忤逆在丹波颇有威望的赤井直正的意思。
“那南边呢，赤井殿下怎么不派人去？”山名佑丰似乎是对赤井直正的保守有些不满，抬杠一般地挑刺道，“南边不是也要一条取道摄津国余野的山路，可以绕道我们侧后的吗？”
虽然听出了山名佑丰话里的讽刺，但是赤井直正依旧不卑不亢地答道，“殿下容禀，南边的山路太过狭窄，在接近稻井城附近的山路上最多也就能够容纳五十人进攻。到时候若是发现有人来，我们在谷口派人堵住就是。”
天正五年（1577）3月5日上午巳时三刻，红叶军已经全部从稻井城周围撤离，消失在了稻井城东南的山区里。而在城外苦等多日的援军，也立刻向着稻井城城下町开去，试图给稻井城解围。
在看到山阴联军来势汹汹后，明智军也迅速从城下离开。城内的韧井教业似乎明白了城外援军的企图，立刻出城逆袭，黏住了明智军。明智军一时间无法摆脱韧井
教业，只得狼狈地且战且退，朝着龙山城的方向退去。
而山阴联军在留下了芦田国住和荒木氏纲的2000人留守稻井城后，就飞速地追了上来，紧跟在明智军身后衔尾追击。明智军一路逃，联军就一路追，明智军的伤亡正在逐渐增加。这样追下去，不久后就会因为士气而招致总崩溃。
索性天色已晚，明智光秀在山路上扎下营盘、据险而守，山阴联军暂时也没什么办法。不过3月6日天一亮，山阴联军就再次对明智军的营地发动猛攻。明智军抵挡不住，继续向东撤去。到了3月6日下午，联军已经追到了稻井城20里外的地方。
然而，前线进展的越顺利，赤井直正反而愈发担心。他反复派出传令兵去北边的园部城那里确认情况，得知足立基助已经派出大量忍者侦查，但是在北边的山路上也就没有发现红叶军的影子。不过，红叶军军情司的忍者数量却不少，联军派向东边侦查的忍者大多数都被挡了下来，一无所获。赤井直正于是又派人向稻井城留守的芦田国住和荒木氏纲传令，让他们务必警戒周围，以提防红叶军去而复返的突袭。
“久闻赤井殿下有着丹波‘赤鬼’的名号，今日一见，不过是个畏手畏脚的雏儿罢了。”山名佑丰冷眼看着不断瞻前顾后的赤井直正，低声对身旁的一色义道嗤笑道。
“真不知道这般犹豫的人，是如何为将的。那明智光秀居然被这种懦夫击退了，想必更为不堪吧。”一色义道也忍不住低声笑道，“盛名之下，其实难副啊。”