李元吉听了勃然大怒，指着宇文歆骂道：“宇文歆，到底你是主将还是我是主将。昨日我说要撤退，你不允；今日我说要出击，你还是不允。你是把我当成小儿，自己要做王莽、曹操之徒挟制吗？”

宇文歆听了，大吃一惊。李元吉的话，实在杀伤性太大，他连忙跪在地上说道：“在下不敢，歆绝无此意。”此时的宇文歆心中哀怆，悲伤至极，最后竟然留下泪来。

李元吉此时也不管宇文歆，一甩袖子，大声说道：“明日一早，我率军出击，迎战隋军。”

说完便离开了议事堂。

这时刘政会上前扶起宇文歆。

宇文歆哀伤地说道：“姑臧公竟以如此心思待我，我又有何颜面再留在公府。”于是返回家中，称病告假。

刘政会也无可奈何，没了宇文歆，他只能尽力维持。

第二日一早，李元吉率城中精锐一万五千余人出战，留下老弱并其余军队五千余人给赵文恪，令其负责守城。

原本的三人组中，宇文歆称病，赵文恪素来性子活，不敢阻挠，刘政会一人，根本无法阻止李元吉的胡闹。

大军出了城门，往北而去。

但离城没多久，李元吉突然对跟随他一起出战的刘政会说道：“刘公，今隋军势大，我恐不能敌。我们还是撤退吧。”