大业九年初，河北的窦建德已经成了高士达的司兵，手上有上万人啸聚一方，和河北绿林响当当的一号人物；河南的翟让则劫掠运河，广积钱粮，成为大河两岸最富有的反贼；而作为隋末三大农民军之一的杜伏威，则较之两位前辈差了不少，他此时的事业才刚刚开张。

大业元年的泗州之变，让年少的杜伏威失去了父亲和兄长。在逃亡的路上，他母亲也染病去世，才十岁的他便成了一个孤儿。

杜伏威有时候也想他那个刚刚拜上的义父，可他偏偏除了知道义父是个大官以为，并不知道义父的真实身份。要想拿着那把马刀信物去寻义父，无异于大海捞针。

杜伏威遂提着义父黄明远送给他的马刀，和辅公祏二人，跟着流民一路辗转，流亡到齐郡老家。

家已经不成家了。

从大业元年到大业六年，杜伏威一直在家乡厮混。除了一个遮不住风雨的破烂茅草屋和那把可以杀人的马刀，他一无所有。

杜伏威也准备找个正经营生，也想过个安稳日子，但此时尚未成人的他又能做些什么，他根本无法养活自己，为了活着，只得经常穿壁翻墙偷东西。

又一次杜伏威生病，快要饿死了，此时好友辅公祏带了一只羊给他充饥，这才救了杜伏威一命。