杨广此次离京，很多不能跟着一起去的嫔妃、宫女便在送行地队伍高喊。

杨广倒是听得心有戚戚，于是作诗道：

“我梦江南好，征辽亦偶然。

但存颜色在，离别只今年。”

一众宫女听了，也齐齐吟诵，倒是让人潸然泪下。

黄维扬听到杨广的诗，心中念道：“天子之诗，透露出弄弄悲意，倒像是一首自述，着实不祥。‘离别只今年’，不知道还能不能回来。”

杨广这次南下，要带的人太多了，甚至被贬为庶民的苏威，也要带着。幸好裴蕴、虞世基等人言苏威“老悖且多昏聩之言，恐不能用”，杨广遂罢。

苏威的确已经病重到时日无多了，至少旁人看到的是这样。

不过等杨广的銮驾离开之后，苏威的病竟然好了。

原来苏威之前故意触怒杨广，便是不想跟着杨广南下江都。他早就看出了杨广怕是要大厦将倾，他自不愿随杨广殉葬。

于是苏威便带着孙儿、家人，匆匆离开北邙，投黄明远而去。

此时杨广向东，盗贼已经出现在洛口仓一带。虞世基请求杨广增加援兵，杨广却嗤笑道：“卿是书生，定犹怯也。”

不过杨广还是听从了虞世基的建议。他到达巩县后，命令有关部门将箕山、公路二府移到洛口仓内，并命令修筑城池以备不测。

杨广南下，多有官员阻拦。

杨广到达汜水县（今河南省荥阳市西北汜水镇）后，奉信郎王爱仁又上表请求杨广返回西京长安，杨广杀死王爱仁又继续南行。

杨广到了梁郡，这时梁郡又有人劝阻，并上书杨广道：“天子若遂幸江都，天下非天子之有！”

杨广又把人杀了。

至此，文人士子，再无人心向杨广。