唐朝建立之初，疆土只限于关中和河东一带，尚未完全统治全国，因此，李渊经常派遣儿子李世民、李建成、李元吉出征，逐步消灭各地割据势力。李世民攻打据有今甘肃兰州等地的薛举、薛仁果父子，九月薛举战死，俘杀薛仁果，平定了西北广大地区。

唐朝用反间计，使李轨集团内部矛盾激化，从而俘杀了李轨，平定了河西走廊。同年，刘武周、宋金刚勾结突厥，攻入河东，占领太原，李元吉、裴寂等败逃。后李世民出讨河东，收复太原并消灭刘武周势力，刘武周、宋金刚逃往突厥，不久被杀。

当时，黄河流域形成夏政权窦建德、郑政权王世充与唐朝三足鼎立之势。次年，李世民奉命率军东征王世充，窦建德和王世充联盟对抗李世民的军队。在武牢关一战中李世民俘获窦建德，促使王世充投降。太子李建成俘斩窦建德余部刘黑闼，平定了河北地区。高开道为其部下张金树所杀，张金树降唐，唐军又消灭了江南的辅公祏势力，终于一统天下。

突厥侵犯唐朝边境，李建成向李渊建议，由李元吉做统帅出征突厥。在太子的东宫中担任率更丞职位的王晊，已被秦王李世民收买，成为李世民在东宫的眼线，他悄悄告诉李世民：“李建成想借此控制秦王的兵马，并准备在昆明池设伏兵杀秦王。”于是李世民决定先发制人。晋阳起兵是李世民的谋略，李渊曾答应他事成之后立他为太子，但李渊建立唐朝后，却改立李建成为太子。天下平定后，李世民功名日盛，李建成随即联合李元吉，排挤李世民。李渊的优柔寡断，也使朝中政令相互冲突，加速了诸子的兵戎相见。

李世民在帝都长安城宫城玄武门附近射杀皇太子李建成、齐王李元吉，史称“玄武门之变”。事后，李世民杀李建成、李元吉诸子，并将他们从宗籍中除名，李渊让出军政大权给予秦王李世民，李世民被立为皇太子，李渊下诏说：“自今以后军国事务，无论大小悉数委任太子处决，然后奏闻皇帝。”李渊退位称太上皇，禅位于李世民，李世民登基，是为唐太宗，次年改元贞观。

李渊做太上皇以后，开始的几年是在太极宫生活的，直到从太极宫迁出，搬到了大安宫。在大安宫生活期间，李渊除了参加李世民举行的一些宴会外，几乎不曾离开过大安宫，李世民经常到九成宫避暑，李渊也不愿意出行。李世民决定在宫城的东北方向营建大明宫，作为太上皇的“清暑之所”。李渊因病驾崩于垂拱前殿，年七十岁，庙号高祖，初谥太武皇帝，安葬于献陵，其妻窦氏也加号太穆皇后祔葬。