王世充在东都夺了大权后，起初还假装谦恭，日子一长就放肆起来，皇泰（隋主杨侗年号）二年三月，竟然自称郑王。一个月后，他干脆把隋主杨侗幽禁起来，自己称起了皇帝，改元开明，废隋主为潞国公，立儿子王玄应为太子，封王玄恕为汉王，其余的同族兄弟等亲戚十九人都封了王。程咬金这时候已改名叫程知节，和秦叔宝一起投降了王世充。有一天，程知节对秦叔宝道：“王世充器量狭窄，为人狂妄，现在又犯上作乱，我们应该找机会离开。”秦叔宝也有同感。正巧唐骠骑将军张孝等人来攻王世充，王世充率领程知节、秦叔宝等人到九曲城迎战唐兵。开战之前，程知节和秦叔宝带领几十名骑兵突然向西跑到一百步开外，然后下马远远地向王世充施礼道：“承蒙您厚待，我们也想报效，但是您听信谗言，我们不便久留，就此告辞了。”王世充派人去追，两人飞身上马，扬鞭跑到唐营。王世充惊得目瞪口呆，又怕部将效仿，心想不如返回东都，多加封赏，也许可以稳住军心。于是收兵回到东都。
回到东都后，王世充想出个斩草除根的法子。他派侄子王仁则及家奴梁百年带上毒酒去毒杀隋主。隋主杨侗此刻正幽禁在含凉殿，只能每天祈求神佛保佑。不料王仁则等前来逼命，杨侗最后拜了一次佛道：“从今以后，但愿不再托生帝王家。”随后硬着头皮喝下毒酒，一时尚未断气，竟然被王仁则用丝带勒死。
淮安有个土豪叫杨士林，他聚众一万多人，去攻打自称楚帝的朱粲。朱粲性情残暴，部下对他都是三心二意，现在突然听说有大兵来攻，一下子逃了一大半。朱粲带领亲兵来到淮源，和杨士林交战，不一会儿就支持不住了，连忙跑到菊潭，手下已经不到一百人。眼看着皇帝当不成了，只好派人入关向唐主李渊请降。李渊想安抚一下，于是封朱粲为显州道行台，加封楚王，又派散骑常侍段确前去慰问。段确到了菊潭，朱粲备酒款待。这位段钦差一向嗜酒，一杯接着一杯，连喝了好几十杯，不知不觉就发狂了，嘴里没有把门的，当下笑着对朱粲道：“我听说你喜欢吃人肉，究竟人肉是什么滋味呀？”朱粲听了这话，知道他是有意嘲笑。原来这个朱粲确实吃过人肉，而且专吃妇女小孩，曾经对手下说过：“世间最大的美味就是人肉，只要我国有人，我就饿不着。”现在听段确嘲笑自己，不禁大怒道：“人肉最美，特别是喝醉酒的人肉，更加可口！”段确骂道：“狂贼呀狂贼！你今天来投降，不过是唐主的一个家奴，你还想吃醉人肉吗？”朱粲这时候也喝醉了，便把眼一瞪：“吃你又能怎样！”说完，指挥左右拿下段确。段确只有几名随从，哪里招架得住，都被他们捆住杀死，朱粲果真吩咐军兵把他们煮熟吃掉。又索性屠杀菊潭百姓，然后直奔东都投降王世充，王世充封他为龙骧大将军。
唐高祖听说段确被杀，勃然大怒，当时就要发兵讨伐朱粲。紧接着又接到奏报，说朱粲已经投奔王世充。高祖于是召群臣商议，群臣都说王世充势头正强，不是一朝一夕能够剿灭的。首要的任务应该是先储备粮食，养精蓄锐，等到兵精粮足再出师就必胜无疑了。
于是，高祖制定了租庸调法。此法以人丁为本，按田地多少收租，按人头服徭役，按户缴纳实物税，再根据实际情况酌情定额。又编制了十二支军队，分兵驻扎关内各州府，部队都用天星命名。每支军队设正、副将领各一名，没有战事的时候监督耕作，有事就出战。渐渐地，大唐兵精粮足，国力空前强盛起来。
当时，宇文士及还在济北，他妹妹曾嫁到唐宫做昭仪，很得高祖的欢心。高祖对宇文士及一直很好，并封他为上仪同。还有以前的隋臣封德彝，和宇文士及同时入朝，不久也封为迁官侍郎。只有民部尚书刘文静居功自傲，觉得官职低，很不满意。加上裴寂功劳没有自己大却官封右仆射，在自己之上，更觉得愤愤不平。平时和裴寂说话，多次产生摩擦。偏赶上刘文静家里经常出现怪物，刘文静的弟弟刘文起就找了个巫师驱邪，巫师披着头发含着刀，念咒画符好不热闹。刘文静有个小妾因为失宠心里怨恨，竟然让大哥上疏告状，诬陷刘文静兄弟大兴巫术，意图谋反。高祖让裴寂调查，这不是冤家查对头嘛，当然打入大狱，定了死罪。秦王李世民再三求情：“从前在晋阳起义的时候，刘文静曾立下汗马功劳。入关以后，确实恩宠不多。刘文静抱怨不是没有道理，至于说谋反的事绝对不会有，应该开恩赦罪，这才对得起刘文静的功劳啊。”就在高祖犹豫不决的时候，裴寂又上殿奏道：“刘文静才华谋略过人，但性情阴险狡诈，现在天下未定，如果留下他，必为后患。”李渊竟然点头说是，当即下令把刘文静兄弟推出斩首。刘文静临刑前仰天长叹道：“飞鸟尽，良弓藏。这话果然不假！”刘文静一死，裴寂更加得宠。
李渊对关西草寇恩威并用，没多久关西就基本太平了。高祖正要东征，偏偏一波才平，一波又起，毗陵又冒出个自称梁王的沈法兴，还有个李子通也在江都自称吴帝。最猖狂的是刘武周，他曾多次侵犯并州，齐王李元吉抵挡不住。李渊增派行军总管裴寂，以为他老成练达，必定能取胜，想不到也是一败涂地，反而把晋州以北的城镇全都丢掉了。齐王李元吉听到兵败的消息，吓破了胆，连夜带着妻妾跑回长安。好好的一座太原城，就这样白白地让给了刘武周，险些连河东一带也都丢光，这实在大出李渊的意料。
刘武周祖籍瀛州，后来跟着父亲刘匡迁居到马邑。刘武周从小擅长骑射，并且喜欢结交豪杰。哥哥刘山伯曾经批评他：“你什么人都结交，小心给我们家带来祸患。”刘武周来到洛阳，投到隋太仆杨义臣帐下，后来随着隋炀帝征辽，当了个补校尉。不久又回到马邑，太守王仁恭欣赏他的骁勇，让他统领亲兵，从此不离左右。时间一长，刘武周竟然与王仁恭的侍女关系暧昧起来，因为担心东窗事发掉脑袋，索性先下手为强。他暗地里勾结几个恶少，杀了王仁恭，然后提着脑袋在城中招摇，却没人敢动。刘武周当下开仓放粮，招集乌合之众一万多人，自称太守。雁门守丞陈孝意和虎贲郎将王智辩合兵去攻打，却被他打败。刘武周又乘胜杀进汾阳宫，抢了大批宫女献给突厥。突厥回赠他许多良马，以及狼头大旗一面，立他为定扬可汗。他干脆自称皇帝，改元天兴。易州草寇宋金刚手下有一万多人马，和魏刀儿勾结到一起。魏刀儿被窦建德灭掉后，宋金刚也被窦建德击败，于是带领残部投奔刘武周。刘武周大喜，将他封为宋王，宋金刚感激涕零。刘武周有个妹妹到了婚嫁的年龄，正在找女婿，宋金刚正好丧妻，于是毛遂自荐，刘武周也有意笼络，就把妹妹嫁给了他。
宋金刚劝刘武周进攻晋阳，向南争夺天下。刘武周任命宋金刚为西南道大行台，领兵三万出击，连破榆次、介州，接着又进攻并州及太原。唐左武卫大将军姜宝谊和行军总管李仲文出师去剿，都被宋金刚活捉。姜宝谊被杀，李仲文逃了回来。
宋金刚攻下晋州，刘武周攻下并州及太原，大唐军队总管裴寂节节败退。没过多久，浍州沦陷，局势变得格外紧张。裴寂不但没有设防，反而催促州官将城外的百姓赶到城内，并放火烧了他们的家产。老百姓又恨又怕，都想造反。夏县有个吕崇茂，乘势聚众起兵响应刘武周，自称魏王，四处抢掠。裴寂接连得到警报，只好去剿吕崇茂，偏偏部下都不耐战，被吕崇茂杀得丢盔弃甲，纷纷逃散。裴寂也飞马回逃，没办法只好再上奏折求援。高祖一面命令永安王李孝基和陕州总管于筠、内史侍郎唐俭等人去帮助围剿吕崇茂，一面又发出手谕，让关中守将严行防御，河东一带放弃不要。
这道手谕一下，激怒了秦王李世民，当即愤然上奏道：“太原是我们帝业的根基、国家的根本。河东物产丰富，京城全仗这里资助给养，不能因为打了几次败仗，就轻易放弃。否则河东一丢必然波及关西。儿臣愿领精兵三万，出兵讨伐刘武周，一定能扫平顽贼，收复汾晋。”李渊于是调集关中所有的精兵良将，归李世民指挥，讨伐刘武周。
武德二年十一月，李世民领兵来到龙门，刚好赶上河冰冻得坚硬，于是大军一路急行，到了柏壁，直抵敌营。敌军领兵的正是宋金刚。李世民选择了险地驻扎下来，坚守不战，只是传令各郡，让他们供给军需。各郡的官员正在观望，突然听说李世民是大元帅，都争着来拜见，并陆续运来粮食。李世民休整兵马，只命令小股部队骚扰敌营。敌进我退，敌退我进，气得宋金刚暴跳如雷，带领大队人马来攻。李世民仍然按兵不动，只是用硬弓强弩接连射他。一名骁将应声倒地，宋金刚无奈，只好退兵。李世民于是照旧骚扰。这时候，李世民接到夏县败军的报告，说永安王李孝基等人全军覆没，将领全都被活捉。李世民不由得大怒道：“贼人有这么厉害吗？待我亲自去看看！”话音未落，有两位将军道：“此处离不开您，只要由末将带人前去，就能把他们收拾掉。”李世民一看，原来是兵部尚书殷开山和行军总管秦叔宝，便欣然同意：“二位将军既然愿意一起去，倒比我去还强。只是贼兵已经得胜，必然撤军。你们最好是在中途袭击，攻其不备，必定可以出奇制胜。”二位将军领命离去，途中探听到消息，原来是刘武周的部将尉迟恭去帮助吕崇茂夹攻唐军，所以才导致唐军兵败。敌人捉了李孝基等人正往浍州方向撤退，现在已经快到美良川了。两位将军当下命令部队快马加鞭，一路跑到美良川。恰巧赶上尉迟恭等人率领人马走过，于是两位将军指挥士兵两边夹击，尉迟恭再骁勇也没有用，转眼间，他的部下就溃不成军了。唐兵东劈西斩，杀了敌军两千多人才收兵。只是尉迟恭等人逃跑，李孝基等人也没能夺回。两将担心穷追会有闪失，就撤回了大营。李世民给两员大将记了功，仍然据守不战。众将多次请战，李世民道：“宋金刚兵精将猛，意在速战。我们养精蓄锐，正是为了避开敌人的锋芒，等他们粮草吃光了自然会逃走，到那时再去追击。”从此两军相持，竟然相持了一年多。
刘武周侵袭潞州，被唐将王行敏击退，转而侵袭浩州，又被唐将李仲文、张纶等赶走，接连打了败仗，军威大挫。宋金刚的锐气渐渐地消失，粮草也接济不上，只好撤军。李世民带兵追击，一昼夜赶了二百多里，来到高壁岭。将士请求驻军等粮，李世民没答应，饿着肚子一直追到雀鼠谷，终于追上了敌军。宋金刚边战边逃，交锋八次，都被李世民杀败，连俘带斩多达好几万人，宋金刚落荒而逃。李世民当时已经三天没脱铠甲，两天没吃东西。军中只剩下一只羊，李世民命人将它煮了分给将士充饥，接着继续追赶。宋金刚逃进了介休城，带领残兵两万人开门作战。李世民让前军应战，自己率领后军绕到敌人后面，前后夹击。宋金刚大败而逃。李世民追击了几十里，杀敌三千多人。此时的尉迟恭、寻相等人还在介休城把守，李世民派人招降，两人当即投降。尉迟恭部下共有八千多人，李世民把他们分散到各营之中，又封尉迟恭为右府统军。屈突通担心尉迟恭叛变，几次劝李世民小心提防，李世民道：“我现在喜得良将，你就别说了！”陕州总管于筠从敌营逃回来，报告说刘武周在并州已经穷途末路，正打算向北逃跑。李世民于是带兵攻打并州。来到城下，城门已经大开，刘武周早就逃出城去了。