很快黄明远就顾不得义成公主的事情了，因为朝廷之中，爆发了一件大事，天子下令，罢免宰相苏威，诛杀高颎、贺若弼、宇文弼等人。

杨广北上之时，便下诏征发男丁一百余万人修筑长城，西起榆林，东至紫河即今内蒙古南部、山西西北长城外的浑河。尚书左仆射苏威劝阻，杨广不听。这条路修筑了二十天便完工，死伤无数。

这便是高颎等人要被诛杀的直接原因。

因为高颎的主动投诚，杨广在登基之后，还是很优待高颎的，不仅任命其为太子太师，与杨雄、杨弘等人并列，还恢复了其爵位齐国公。

不过高颎似乎还沉浸在杨坚的时代，对杨广的性格并不完全了解，因此对于杨广的作为，屡屡劝谏。

杨广征召全国周、齐、梁、陈等朝乐家子弟为乐户，从六品以下到庶人，有擅长音乐的，全向太常寺报到，高颎对此对不以为然，认为这是乱政，劝杨广废止，但杨广不听。

此时的高颎似乎因为年老和离开政治中心，已经丧失了政治警惕性，因此他之后对太常丞李懿说道：“北周天元帝因为好乐而亡国，殷鉴并不远，怎么可以再重复呢？”

而这两年，杨广的种种作为，也越来越让高颎不满，因此高颎竟然和安德王杨雄说道：“近来朝廷太无纲纪了。”