这一次杨广召见启民可汗，黄明远、长孙晟皆对杨广对胡人厚赏不满，但也没有说话，但高颎却认为杨广此举不妥，对启民可汗的待遇过厚。他又对太府丞何稠说道：“这个胡虏很清楚中国的虚实，山川的险易，恐怕会成为后患。”

不仅如此，高颎还和杨谅的旧部礼部尚书宇文弼走得迫近。须知祸从口出，从高颎管不住嘴开始，他的下场已经注定。

宇文弼也不知是不是知道杨广对其虎视眈眈，却与高颎私下里说道：“周天元帝的奢侈，以今天的情况与之比较，也不算太过分吧？”后来又说“修长城的工程，幸而不是急迫的任务。”

如此种种，早有人上报给了杨广。

七月二十五日，杨广下令，捉拿高颎和宇文弼，满朝皆惊。

二人一个太子太师，一个礼部尚书，虽说都没有多大的实权，但皆是前朝老臣，地位崇高，身份贵重，影响深远，因此被逮捕之后，朝臣纷纷上书求救。

光禄大夫贺若弼也上书进言，请求天子明察，没想到有人上告贺若弼也私下议论宴请启民可汗的规模太奢侈。杨广遂把贺若弼也抓了起来。