李渊把刘文静从晋阳牢监里放了出来。刘文静帮助李世民，分头招兵买马。李渊又派人把正在河东打仗的另两个儿子李建成和李元吉召了回来。太原的两个副留守看到李渊父子的举动反常，想出来阻挠。李渊借口他们勾结突厥，把他们抓起来杀了。李渊又听从刘文静的计策，派人备了一份厚礼，到突厥可汗那里讲和，约他一起反隋。突厥可汗觉得这样做对他们有好处，就答应帮助李渊。
李渊稳住突厥这一头，就正式起兵反隋。李渊自称大将军，派李建成和李世民分别做左右领军大都督、刘文静做司马，又把兵士都称为“义士”。他们带领三万人马离开晋阳，向长安进军。一路上继续招募人马，并且学农民起义军的做法，打开官仓发粮给贫民。这样一来，应募的百姓就越来越多了。
唐军到了霍邑，遭到隋朝将军宋老生的拦击。霍邑一带道路狭隘，又正赶上接连几天大雨，唐军的军粮运输中断了。兵士中还纷纷传说突厥兵正准备偷袭晋阳。李渊动摇起来，想撤兵回晋阳去。
李世民对李渊说：“现在正是秋收季节，田野里有的是粮食，哪怕缺粮！宋老生也没有什么可怕。我们用义兵的名义号召天下，如果还没打仗就后撤，岂不叫人失望。回到晋阳，是断断没有生路的。”
李建成也支持他弟弟的主张。李渊这才改变了主意，取消了撤兵的打算。
八月的一天，久雨刚刚放晴。唐军一早沿着山边小路，急行军来到霍邑城边。李渊先派建成率领几十个骑兵在城下挑战。宋老生一看唐军人少，亲自带了三万人马出城。李世民带兵居高临下从南面山头冲杀下来，把宋老生的人马冲得七零八落。宋老生急忙回头想逃回城去。李渊的兵士已经占了城池，把城门关得紧腾腾的。宋老生走投无路，被唐军杀了。
唐军攻下霍邑以后，继续向西进军，在关中的农民军的配合下，渡过黄河。留在长安的李渊的女儿也招募了一万多人马，号称“娘子军”，响应唐军进关。
李渊集中了二十多万大军攻打长安。守在长安的隋军，要想抵抗也没用了。李渊攻下长安以后，为了争取民心，宣布约法十二条，把隋王朝的苛刻法令一概废除，并且暂时让隋炀帝的孙子杨侑做个挂名的皇帝。
第二年夏天，从江都传来了隋炀帝被杀的消息，李渊才把杨侑废了，自己即位称帝，改国号为唐。
起兵后不久，便乘虚攻破长安。十四年三月，隋右屯卫将军宇文化及等发动兵变，在江都绞杀了隋炀帝，隋朝灭亡。
在有利形势下，各路起义军形势逐渐占据上风，而此时的瓦岗军却出现了内争，在军事上也因久攻洛阳坚城之下而失去了发展机会，李密怀疑翟让要夺权，竟谋害了翟让。后来他又重用隋朝降官降将，不爱惜士卒，致使部众逐渐离心。宇文化及率军10余万人北上到了河南地区时，听闻原隋朝太原留守李渊在长安称帝，建立了唐朝隋朝的残余势力杨侗也在洛阳称帝。此时，李密不仅未能利用杨侗与宇文化及之间的矛盾，反为杨侗所利用。当杨侗派人招降李密时，李密为了避免两面受敌，竟接受了杨侗的官封，调集精兵专心攻击宇文化及的军队。后来瓦岗军与宇文化及军大战于潼山下。这次作战，瓦岗军虽然取胜，但军事实力大为削弱。此时，窃取了洛阳军政大权的王世充乘机进攻，瓦岗军在不利情况下与之决战，结果败于偃师。李密率余部投降李渊。
李密归唐后，李渊大喜，拜李密为光禄卿，封邢国公，还将表妹独孤氏嫁给了李密，称呼李密为弟但李密不甘居于人下，对自己的处境非常不满。
同年年底，李渊派李密去黎阳安抚昔日的部众，左武卫将军王伯当随同前往李密率部东行至稠桑驿的时候，李渊突然反悔将其召回，李密大为恐惧，随即将心一横准备反叛唐国。王伯当听闻后，试图劝阻，但李密不听。随后李密率部袭破邻近的桃林县，掠夺牲畜和军需向南进入熊耳山，前往襄城投奔旧将张善相
李密的所作所为被熊州副将盛彦师得知，盛彦师率兵埋伏在的陆浑县南邢公岘，腊月三十，李密率部经过，被盛彦师率部突袭，全部杀死，并派士兵传首长安李渊派人将李密首级送往黎阳招抚其余部徐世勣献黎阳投降，请求收葬李密的尸首，得到李渊的允许随后徐茂公将李密葬于黎阳山西南五里处，坟高七仞。
看来，一山容不得二虎，即便是大虎一时同意了，二虎也心不自然，反叛是必然，只是早与晚罢了但像程咬金这样的假虎，就没有这样的下场了。
唐朝武德二年春，窦建德攻破聊城，擒杀了宇文化及，接着又攻下许多州县。但他曾派使者去洛阳朝见皇泰主杨侗。后来唐朝的秦王李世民率军攻打洛阳的王世充，王世充向窦建德求救。窦建德担心唐朝灭王世充后将危及自己，就率军10余万人前往援救，被李世民军打败了。此时全国大部地区已为唐军所有，至此，隋末以来农民起义战争基本结束。
隋末农民起义规模巨大，起义军作战勇猛，指挥灵活，采取攻其不备、诱敌轻进、以逸待劳、迂回奔袭等谋略和战法，节节获胜，击败了隋军主力，摧毁了隋王朝统治。但由于起义军在后期模糊了斗争方向，在战略上和作战指导上不能适应形势的变化，不善于利用敌对势力之间的矛盾，加之有的起义军内部团结受到损害，以致先后均遭失败。
义宁二年，同年农历五月，隋恭帝被迫禅位于李渊，李渊即皇帝位于长安，国号唐，建元武德，定都长安，是为唐高祖。李渊以李世民为尚书令。不久，又立李建成为皇太子，封李世民为秦王，李元吉为齐王。
唐朝建立之初，疆土只限于关中和河东一带，尚未完全统治全国，因此，李渊频繁派遣儿子李世民、李建成、李元吉出征，计划逐步消灭各地割据势力，统一中国。
武德元年农历六月，李世民攻打据有今甘肃兰州等地的薛举、薛仁果父子，农历九月薛举战死，农历十一月俘杀薛仁果，平定了西北广大地区。
武德二年，唐朝用反间计，使李轨集团内部矛盾激化，从而俘杀了李轨，平定了河西走廊。同年刘武周、宋金刚勾结突厥，攻入河东，占领太原。李元吉、裴寂等败逃。后李世民出讨河东，收复太原并消灭刘武周势力。刘武周、宋金刚逃往突厥，不久被杀。当时黄河流域形成夏政权窦建德、郑政权王世充与唐朝三足鼎立之势。620年，李世民奉命率军东征王世充，窦建德和王世充联盟对抗李世民的军队。
武德四年，在武牢关一战中李世民俘获窦建德。促使王世充投降。武德六年，太子李建成俘斩窦建德余部刘黑闼，平定了河北地区。
武德七年，高开道为其部下张金树所杀，张金树率残余部队降唐。唐军又消灭了江南的辅公祏势力，终于一统天下。