杨昭看到事情如此急转直下，心中无比担忧，去信黄明远说了一下京中的形势。黄明远回信杨昭，让他稍安勿躁，静待京中之事自己发展便是。杨昭也清楚这些事情真不是他能够左右的，只得无奈作罢。

不久之后，杨秀被锁拿回京。

杨秀可以说在几个兄弟中是个完完全全的悲剧人物。作为杨坚的亲生儿子，他从小就是一个舅舅不疼，姥姥不爱的人。杨坚经常对独孤皇后说，杨秀一定不会得善终。不管杨秀到底多不堪，但这么说自己的儿子，做父亲未免也太不厚道了。有这样一个爹，命运怎么可能会美好。

史书记载：杨秀胆气豪壮，容貌雄伟，美须髯，多武艺，朝廷百官对他非常敬畏。可杨秀被杨坚逼地废了，也就两件事。

杨秀通过元衡请求杨坚给他扩大部属，增加官佐这些权力，却被杨坚痛斥。按道理来说，杨秀镇蜀，安排点死党也算正常，杨坚根本犯不着如此生气。难道你杨坚真的如此公正为国？但同样的杨谅却有督五十州，遇事不必拘于律令限制，有自行行事的特权。

开皇初，党项羌屡次在边境袭扰，朝廷派大将军刘哙征讨，同时杨坚又派上开府杨武通统兵。杨秀作为益州总管，派遣心腹万智光担任杨武通的行军司马本就正常。杨坚倒好，痛骂了一顿，还当着群臣的面：“违犯朕所制定的法律的人，必然出现于朕的子孙当中。这就像猛兽一样，强有力的外敌都无法伤害，但它却会被毛间小虫叮咬、吸食。”

一个父亲，当着所有人的面，这样比喻他的亲生儿子，何况他只不过是行使自己的正当权益，且不说万智光是不是真的无能，就算无能，也不必说得如此难听吧？但是杨坚就说了，而且他还削夺了杨秀的权力，步步分化他的职权，使杨秀逐渐成为一个傀儡。杨秀的心里可想而知，想那晋王杨广平陈，自由行事，权力独大，想任命谁就任命谁，想奖励谁就奖励谁，可是到了他这里，就变成了小毛虫咬猛兽。

再之后，内心极度不平的杨秀变了，开始追求奢华的物质生活，车马服饰都按天子的格式来，包括把成都扩大了一倍，旧成都城不够用，他就命人再筑新城，挖土再筑，挖的大坑形成了一个人工湖，即“摩诃池”。

当杨坚招杨秀回京的诏书到成都之后，杨秀便知道自己怕是凶多吉少，不愿意前往，想以病为由推辞不动身。

益州总管司马源师劝杨秀奉令回京，不要因此恶了杨坚，杨秀变了脸色说：“这是我家的事，跟你有什么相干！”