再之后杨谅起兵造反，柳彧也因此滞留在晋阳。杨谅起兵之后，闻知柳彧经过晋阳。杨谅心知柳彧乃当世名臣，威望甚高，特振人召柳彧，想与他商议反叛事宜。

柳彧为系囚之人，不知朝中变化内情，在他应召后才知杨谅竟然要反叛。柳彧不愿与杨谅同流，但又自度无法脱身，便急中生计，假称中毒，作垂危之状。

杨谅也不是傻子，闻听柳彧重病，心知他不愿与己同谋，不禁大怒，即将他囚禁起来。

杨谅兵败之后，柳彧以为有出头有日，但谁料到处置杨谅旧臣的乃是封德彝。

封德彝初为杨素幕僚，结为姻亲，妻子是杨素的堂妹。封德彝知道杨素与柳彧的仇怨，故意陷害柳彧，以柳彧“在晋阳心怀两端，以观时局，虽无反迹，实有贰心”为名，将柳彧列为杨谅的同党。

因为柳彧名望甚大，封德彝不敢私自加害，但也命人在饭食里掺杂污秽之物，又不给柳彧衣物等用具，想尽办法折磨柳彧。

幸好封德彝之还有黄明远，柳彧乃买通狱卒，向黄明远自述冤情。

黄明远听说此事之后，勃然大怒。

黄明远叫来封德彝，将告他的状子全部丢到他的身，这些状子竟然有一尺之厚。

黄明远怒斥封德彝道：“封伦，我将如此大事交付于你，本是看你行事周全，看在越国公的面子给你赚取功劳，你看看晋阳城今日作何样子。你难道希望晋阳城内的文武再反一次不成，还是觉得不杀人不过瘾，要将晋阳城内的文武官员杀光？”