七月二十日，张绣率军南下，与隋军在万家岭相遇。

张绣早料到隋军可能有阻击，因此行军很是稳妥，不给隋军丝毫偷袭的机会。到了万家岭后，张绣并未表现得很心急，扎下大营，做出久战的准备。

黄维扬登上万家岭主峰，眺望远处梁军大营，那布置的是有模有样，井然有序。黄维扬不由得暗叹张绣水平不凡，同时也更加谨慎起来。

这一次双方对峙在万家岭，隋军三万多，梁军六万，梁军兵多，但隋军又占据地利，总得来看，实力相差并不大。

很快，双方便在万家岭进行了两场试探性地攻击。

张绣命令大将文士弘率领五千人马向万家岭发起攻击，立刻便被以逸待劳的隋军骑兵给攻破，文士弘兵败而退，折损两千余人。

这一仗倒是不怪文士弘，隋军骑兵居高临下，又以步击骑，梁军根本没有多少成编制的骑兵，自然不是隋军敌手。

之后张绣又率领五千人马从东面的汗毛岭，准备绕道隋军身后，进行攻击。

哪知道隋军早有防备，提前设置了伏兵，于是在汗毛岭上，张绣又折了一阵，损失不小。

连续两战兵败，让张绣彻底见识到隋军的战力，也了解到自身的不足。隋军骑兵众多，往来疏忽，便于支援。而梁军若是想以步克骑，还跟隋军打野战，那就是自讨苦吃，自寻死路。

张绣突然觉得自己恐无力救援林士弘。

思虑了两天，为求稳妥的张绣遂下令全军返回湓城。

既然野战不能胜，那就准备在防御战中消耗隋军，再寻求反击的机会。

在张绣看来，大隋实力强于梁国，在实力不如对方的时候，倒不如稳扎稳打。即使隋军占领了豫章，也不可能在此屯重兵据守，倒不如暂时休兵，等待机会。