安北都护府原本只有一万余人，守卫孤城，但经过十多年的经营，长孙晟和斛律晟先后在安北城周围修建了十多个小城，构建了意辛山（今内蒙古四子王旗北境，与蒙古国接界）防线，有民一万四千余户，四万六千余人，军队接近一万一千人。

若是按照黄明远与长孙晟的设计，沿着诺真水建城，用不了一二十年，碛口以南则尽为汉地。但现在形势突变，安北城孤悬在外，已经失去了限制突厥人的作用，反而成了大隋的一个累赘。

大业八年四月，斛律晟眼看形势不对，北方突厥人屡屡犯境，双方互有战争。为了保证安北城百姓的安全，斛律晟下令将安北城除了军队的三万多人送回九原。这些人多是安北都护府官兵的家眷和北来安北城的商人。

众人此次南下，只能挥泪作别丈夫、儿子、父亲。

大业九年三月，也就是浑部南下之时，大隋与突厥人再次在意辛山北发生战斗，这是大业八年以来最大的一场战斗。

为了牵制隋军，方便围剿浑部，始毕可汗亲督三万骑南下，驻扎在意辛山北。

斛律晟也不势弱，亲自率领精兵五千驻扎在意辛山上，双方山上、山下对峙。

突厥人屡屡挑战，斛律晟命各军坚守不出，消耗对方的士气。