在押的囚犯当中，有一个人非常特别，他就是马邑的郡丞李靖。李渊问他犯了什么罪，他笑着说：“我没犯罪，只是听说您起义，便设法向朝廷报告，所以自己上了囚车，请长官把我押到江都，以便密告天子。不料到了长安偏赶上您来攻城，守城的士兵不知道我的计策，将我暂时羁押在这里。”李渊听了这番话勃然大怒：“你敢告发我？给我推出去斩了！”李靖大喊：“您兴兵起义为的是扫平天下暴乱，现在您竟然因为私怨杀壮士吗？”李渊也不答话，左右上前把李靖推到外边。就要行刑时，忽然有人上前阻拦：“杀不得！杀不得！”
此人正是李世民，李世民与李靖曾有一面之交，知道他智勇双全，所以急忙拦住。李世民当即向李渊求情：“父亲还记得韩擒虎的遗言吗？他说李靖满腹经纶，如果能为我所用，必能立大功。还请父亲赦免了他，再封他官职！”李渊沉吟半晌说道：“我看他相貌奇伟，将来恐怕不容易驾驭。”李世民道：“儿自有驾驭的办法，请父亲不必担心！”李渊这才同意。李世民立刻给李靖解开绑绳，好言抚慰了一番，又把李靖请到家中，待为上宾。李靖本是京兆人，字药师，是隋初总管韩擒虎的外甥，韩擒虎和李靖谈论用兵之道时发现李靖满腹经纶，因此非常喜爱他。
此外还有一段关于李靖的艳事广为流传。隋炀帝刚登基那年南幸江都，派司空杨素驻守西京。李靖怀着一腔豪气，昂然进见杨素，在和杨素谈论时事时，气势夺人。旁边有个手执红拂尘的侍女多次偷看李靖。李靖退出后，这位侍女暗地里托门卫打听李靖的住址。到了晚上，李靖忽然听到敲门声，于是起床开门。只见一个少年拿着包裹闯进来，接着脱下外衣，摘下帽子，竟然变成了一个美貌的女子。李靖大为惊异，那女子问：“您还认得我吗？”李靖仔细看了半天，说了声：“杨家的吧？”女子微笑道：“正是杨家的侍女。”李靖忙问有什么事，女子说：“我在杨府多年，见过的人不少，今天看您一表人才，有意托付终身，所以来投奔。”李靖答道：“杨司空权重京师，如果被他知道了岂不没命？”女子道：“他不过是一个老朽，有什么可怕的？如今侍女多半都跑掉了，他也没心思去追，所以我才敢出来，请您不必担心！”李靖又问她名字，回答说姓张。于是两人聊了起来，李靖见她谈吐优雅，风情万种，渐渐地生出爱意，就将她留下来做了伉俪。
后来，二人担心杨素追捕，就逃到了太原。一天清晨，两个人在客栈刚起床，李靖刷马，张氏梳妆。这时，一个留着络腮胡子的家伙骑着驴跑过来，见面就和李靖、张氏搭话。言谈间李靖得知此人姓张，比自己年长几岁，是一位侠士。于是请他一起吃饭饮酒，三人一见如故。张壮士道：“看李兄弟器宇轩昂，不愧是大丈夫，我这位妹妹可算是嫁得佳偶了。不知太原一带还有没有奇人异士？”李靖答道：“有！此人和我同姓，年方二十，生得一副帝王之相，我看他将来一定是真龙天子。”张壮士道：“他现在做什么事呢？”李靖回答说是将门之子。壮士点头说：“李兄弟能帮我引见一下吗？”李靖答道：“我有个朋友叫刘文静，和他交情很深，我可以托刘文静做个介绍。不过张兄为何一定要见他？”壮士道：“太原有帝王之气，我料想应当出自此人身上，所以我定要见他一面。只是现在我还有点琐事，不便与你同行，等到太原我们再会吧，请李兄弟在汾阳桥等我，千万不要爽约！”说完骑上驴，转眼间不知去向。
李靖和张氏到了太原，在汾阳桥上等着，张壮士果然如约而来，三人一起来到刘文静家。张壮士自称善于相面，打算见见李公子。刘文静本来就赏识李世民，听说张壮士善于相术，也想验证一下，就派人请李世民过来聊天。言谈间李世民举止潇洒，神采飞扬，张壮士见了不禁大惊，跟李靖耳语：“果然是真命天子！我看有十之八九。我还有一位道兄，我再让他见见，就能料到十成。”李靖转告了刘文静，刘文静答应再约一次。约期一到，张壮士领来一位道士，刘文静邀道士一起下棋，并派人去请李世民。不一会儿，李世民赶到，虽然观棋不语，但那眼神就与众不同。道士于是投子认输，起身告辞。一出门就对张壮士说：“正是此人。”
这位张壮士也是个奇人，他本来打算在中原起义，一看李世民在此，只好另辟蹊径。临行前，张壮士赠给李靖很多钱财，并预言多年后自己必在东南称王。唐太宗贞观年间，东南蛮族上奏说海外有一个首领入侵扶余国，自立为王。李靖知道张壮士成事了，于是与张氏一起向东南下拜。因为这段故事，世人曾把李靖夫妇及张壮士三人称为“风尘三侠”。
李渊安定百姓之后，拥立代王杨侑当了皇帝，在大兴殿即位，改元义宁，尊隋炀帝为太上皇。李渊自封为大丞相，全权掌管内外军事，把武德殿作为丞相府。接着封官组阁，仍然用裴寂当长史，刘文静当司马，召老尚书左丞李纲为相府司录，掌管选拔人才事宜。前朝郎中窦威被封为司录参军，掌管礼仪。然后，李渊又追封自己的祖父李虎为景王，父亲李闼为元王，夫人窦氏为穆妃。封长子李建成为世子，次子李世民为京兆尹秦公，四子李元吉为齐公。
布置已定，李渊派使者去河东招降屈突通。屈突通已经和刘文静相持一个多月，屡战屡败。他见大势已去，就留下显和把守潼关，自己领兵向东逃到洛阳。显和当即率众投降了刘文静，刘文静派窦琮等人与显和合兵追击屈突通，屈突通固守不出。窦琮派屈突通的儿子屈突寿劝他归降，屈突通大骂道：“你小子来干什么？我与你的父子之情已经断绝，如今已成仇敌。”随后命令左右用箭去射屈突寿，屈突寿狼狈逃走。显和又对屈突通的手下喊话：“如今京城已经攻陷，你们都是关中人，跟着屈突通能有什么好下场？不如赶紧投降，还可以回去与家人团圆。”屈突通的手下听了，纷纷缴械投降。
屈突通自知不能幸免，下马向东磕头痛哭道：“臣已竭尽全力，并非有意负国，天地神灵明鉴。”手下人二话不说，竟然扭着屈突通来到刘文静的大营。刘文静将他押送到长安，李渊再三抚慰，封屈突通为兵部尚书，赐爵蒋公，又派他到河东城下招降尧君素。尧君素登城见了屈突通，黯然泪下。屈突通向城上喊道：“我军已败，如今义军所到之处莫不响应。大势至此，您还是早点投降吧！”尧君素厉声答道：“你身为国家大臣，受主上重托，怎能负国降敌，又来为他人做说客呢？”屈突通叹息道：“君素啊！我也是力不从心，不得已才投降的呀。”尧君素答道：“你不用多说了，我是不会投降的！”说完不再理会屈突通，下城离去。屈突通觉得惭愧，只得回去报告李渊。李渊听说尧君素的家属都在长安，就把他们扣押起来，又让尧君素的妻子写信劝降，尧君素仍然不降。李渊只好调虞州刺史韦义节等人继续围攻河东。同时，李渊派刘文静东征弘农等郡，派侄子李孝恭等人抚慰山南、山东，派云阳令詹俊等人南征巴蜀，各地陆续投诚。
义宁二年，李渊任命李建成为抚宁大将军，李世民为副将，领兵七万出征东都，李元吉为镇北将军，掌管太原十五郡军事。三个儿子奉命渡过黄河，向东、向南分兵进攻。
这时候，江都忽然传来急报，说隋炀帝已经被宇文化及杀掉，宇文化及另立秦王杨浩为皇帝。李渊不禁痛哭道：“我在这里辅佐代王，不能去救故主，实在哀痛啊。”
原来，隋炀帝久居江都，越来越荒淫无道。文武大臣都有返回故都的想法，将作少监宇文智及和郎将司马德勘、直阁裴虔通等人推举宇文智及的哥哥宇文化及为首领，准备谋杀隋炀帝。他们半夜里放了把大火，随后带兵杀入玄武门，直奔东阁。宇文化及等人把隋炀帝牵出来，历数其罪状，然后将他勒死。隋炀帝的弟弟杨秀，儿子杨暕、杨杲，及长孙杨倓，包括宗室外戚等人都被斩首。还杀了大臣虞世基、裴蕴、来护儿、萧巨、许善心等十多人。只有隋炀帝的侄儿秦王杨浩因为和宇文智及交情深，才得以幸免。宇文智及跟宇文化及商量，立杨浩为皇帝，让他住在偏宫，只许发诏署名，不得参与政事。
宇文化及自封为大丞相，总揽文武大权。又霸占了六宫妃嫔，连隋炀帝的皇后萧氏也被他奸污，骄奢淫逸一如隋炀帝。他封弟弟宇文智及为左仆射，宇文士及为内史令，裴矩为右仆射。宇文化及留下左卫将军陈稜把守江都，自己挟萧后及秦王杨浩等人从江东出发，打算回到长安。沿途仪卫甲仗，都仿照皇上的规格。一路掠夺财物，老百姓怨声载道。虎贲郎将麦孟才、虎牙郎将钱杰、折冲郎将沈光、司马德勘等人都曾密谋刺杀宇文化及，大概是他尚未恶贯满盈，几次刺杀都因谋事不周而失败，这些人全部被杀害。此时，魏公李密屯兵巩洛，拦住了宇文化及。吴兴太守沈法兴占据了江表十多个郡，也来声讨宇文化及。梁王萧铣听说隋炀帝被杀，也自称皇帝，迁都江陵。
李渊接连听到这些消息后，跃跃欲试。他召回了李建成和李世民，威胁代王杨侑禅让帝位。代王杨侑本来就是一个平庸的孩子，性命都捏在李渊的手里，哪敢不从。一班攀龙附凤的臣子代为拟诏，到了五月戊午日，宣告禅位。
禅位诏书下达以后，李渊先是假意谦让一番，然后改大兴殿为太极殿，择了甲子日登基。这天的辰时，李渊先派萧造祭告南郊，然后开始即位大典。李渊当时五十多岁，须发都有点白了，头戴黄冕，身披黄袍，由侍卫搀扶着登上了皇帝的宝座。宗室贵戚及大臣按顺序进入大殿，分列两班，跪拜朝贺，三呼万岁。历史上称李渊为唐高祖。
李渊登基后，改义宁二年为唐武德元年，大赦天下。官吏各赐晋爵一级。撤郡设州，改太守为刺史。退朝后大宴百官，赏赐金银。第二天，李渊封李世民为尚书令，侄子李瑗为刑部侍郎，裴寂为右仆射，刘文静为纳言，萧瑀、窦威为内史令，李纲为礼部尚书，窦琎为户部尚书，屈突通为兵部尚书，独孤怀恩为工部尚书。高祖废除了隋朝的律令，颁布了新法，又在都城建立四亲庙，追封高祖李熙为宣简公，曾祖李天锡为懿王，祖父李虎为景皇帝，庙号太祖，父亲李闼为元皇帝，庙号世祖。祖母及母亲都称为王后。追谥妻子窦氏为太穆皇后，追封皇子李玄霸为卫王。立世子李建成为太子，封李世民为秦王，李元吉为齐王。封赏李氏宗亲，从堂弟蜀公李孝基以下，封王约有十人。
李渊把杨侑降为酅国公，在京师给他安置了宅子。追谥隋炀帝为太上皇，被杀王公的坟墓都列在隋炀帝坟墓的旁边，隋朝自此了结。只有东都留守官段达、王世充、元文都等人还在苟延残喘，奉越王杨侗为皇帝，和大唐为敌。此外还有几个大的草寇没投降，李氏父子清剿了好几年，最终把他们一一剿灭。