李世民命杜如晦以检校侍中之职兼任吏部尚书，仍然总管东宫兵马，杜如晦在任内非常称职。因发生大旱，李世民让房玄龄、杜如晦、长孙无忌等于名山大川祈雨。杜如晦代替长孙无忌为尚书右仆射，仍旧管理官员的选拔，与房玄龄一起辅佐朝政，建立台阁规模以及表彰人物的事情，都是由房玄龄与杜如晦所定，二人在当时获得的赞誉非常高，称为良相。

杜如晦染病，于是向李世民请求辞官，李世民仍然按照杜如晦以前的官职给他发俸禄，但李世民还是非常担心杜如晦的病情，多次派遣使者和名医前去救治杜如晦，派遣到杜如晦府上的人在路上前后都能望见。但杜如晦最终还是病死，终年四十六岁，李世民为此大哭不止，三天不能处理朝政，转封杜如晦为莱国公。

杜如晦死后，李世民作诏书于著作郎虞世南说：“我和杜如晦之间情义深重，今杜如晦不幸病逝，追念他以前的旧功，我非常伤心，希望你体会到我的意思，为杜如晦制作碑文。”