刘武周听说宋金刚大败而回，料到唐军必定来攻并州，就弃城逃往突厥。李世民进了并州城，没有妄杀一人。接着进军攻打晋阳，守城的杨伏念乖乖投降。当初，侍郎唐俭和永安王李孝基一起被捉，后来唐俭被放，李孝基却被刘武周杀掉，尸首扔在了大街上。李孝基是李世民的表叔，李世民安葬了叔父，然后分兵收复失地，那些被刘武周所占的州县很快又归大唐所有。宋金刚收拾残兵败将，打算回兵再战，手下一听说要打仗全都胆战心惊，再次逃散。宋金刚没办法，只好往北逃奔突厥，不料却被突厥活捉杀掉。刘武周在突厥待了几个月后要回马邑，偏偏被突厥听说，把他斩了。
李世民平定了太原，李渊心花怒放，大宴群臣。酒过三巡，李渊对群臣道：“如今薛举、刘武周两个贼寇已经剿灭了，王薄、郭子和、蒋弘度等也都已归降，只有窦建德、王世充还在负隅顽抗，骚扰我边境。窦建德还掳去了朕的堂弟淮安王和朕的妹妹同安公主，朕岂能善罢甘休？现在朕打算先讨窦建德，后讨王世充，大家意下如何？”李世民进言道：“王世充为人残暴，人神共愤，儿臣想先去讨伐王世充，另一方面可以和窦建德暂时议和，让他归还我皇叔、皇姑。等扫平王世充后，再去招降窦建德，他如果愿意投降最好，否则再剿也不迟。”高祖道：“窦建德如果愿意归还我的弟弟、妹妹，自然就先讨伐王世充。”宴饮结束后，李渊派使臣去洺州和窦建德议和，要求他交还淮安王李神通和同安公主。
原来李神通当山东安抚大使的时候，曾防御窦建德。窦建德接连攻陷沧州、相州等州城，李神通抵挡不住，逃到黎阳去投奔徐世绩。窦建德又攻陷黎阳，活捉了李神通和同安公主。一起被捉的还有秘书丞魏征，魏征本来奉高祖的旨意去招降徐世绩，还没来得及回去，便也做了囚徒。只有徐世绩仓促逃走，连家属都没来得及带走。窦建德捉住了徐世绩的父亲徐盖，用他做人质招降徐世绩。徐世绩无奈之下只好投降，此后，附近的州县纷纷投降窦建德。
窦建德带着徐盖回到了洺州。徐世绩仍然打算投降大唐，又担心连累了父亲，于是找老朋友郭孝恪商量。郭孝恪道：“你刚刚归顺窦建德，此时行动必定引起怀疑，只有先立下功劳，得到他的信任，然后才能计划投唐。”徐世绩于是攻破嘉县，进击新乡，活捉了王世充的大将刘黑闼。窦建德大喜，封刘黑闼为将军，并且嘉奖了徐世绩。徐世绩又请命攻打孟海公所占据的曹、戴两州，窦建德派大舅哥曹旦率领五万人马去帮助徐世绩，并说将亲自策应。徐世绩听曹旦说窦建德也要来，就想等窦建德到来的时候杀了他，并趁机救出父亲。哪知等了好多天也没见窦建德到来。曹旦又侵掠河南，人民怨声载道，徐世绩忍耐不住，率领手下袭击曹旦的大营，偏偏曹旦事先有所防备，没什么漏洞可乘。徐世绩知道自己不可能再留下来，就和郭孝恪带着几十名亲兵投奔了大唐。窦建德听说徐世绩投唐，不禁叹息。属下都劝他赶快杀了徐盖，窦建德却说：“徐世绩本来就是唐臣，如今不忘本朝，也是一个忠臣，我怎能忍心杀他父亲呢？”说完就把徐盖给放了。
窦建德跟罗艺多次交兵，始终没有攻克。窦建德手下有员猛将叫王伏宝，此人生性傲慢，经常侮辱众将，大家都恨他，就说他有谋反的意思。窦建德竟然信以为真，把他斩了。悍将一失，接连打了几个败仗。可巧大唐使臣来求和，窦建德也乐得做个人情，就把淮安王李神通和同安公主送回了大唐。
窦建德带领二十万大军再次攻打幽州，仗着兵多将广，四处架起云梯。不料背后突然冒出了一股敌军，凶悍无比，锐不可当。窦建德的部下抵挡不住，顿时大乱。罗艺又从城里杀出，率领精兵来攻窦建德。窦建德仓皇失措，来不及收兵，慌慌张张逃走了。窦建德背后的敌军是从哪里来的呢？其实就是城中的薛万均兄弟，两人见窦建德大举来攻，担心难以坚守，就招募了一支一百多人的敢死队，凿了条地道，通到窦建德后面痛杀一阵，再加上罗艺出来夹攻，便一举击败了窦建德。
没过几天，窦建德又来攻城，罗艺与薛万彻、薛万均等人一面奋力防御，一面派人到渔阳请求援兵。占据渔阳的首领叫高开道，自称燕王，他本是沧州人，祖上是制盐的，趁着隋末天下大乱占据北平，后来又攻下了渔阳。高开道接到罗艺的来信，乐得发兵扬威，于是带了两千骑兵去救幽州。窦建德见有援兵到来，担心再蹈覆辙，就退兵了。罗艺出城迎接高开道，进城摆宴款待，席间罗艺劝高开道归降大唐，高开道欣然同意。李渊封罗艺为燕郡王，封高开道为北平郡王，都赐李姓，让二人仍旧管辖原来的州城。
此时高祖李渊见窦建德已经稳住，弟弟、妹妹也回来了，就派秦王李世民带兵讨伐王世充。王世充曾多次侵犯大唐，但都没讨到便宜，反而失去了爱将罗士信。大将李君羨和田留安也接连投唐。唐朝因为罗士信骁勇善战，封他为陕西道行军总管，跟随李世民东征，李世民又让他做先锋进攻慈涧。王世充听说唐军来征讨，连忙派自己的兄弟等人防守各州城。为了防止属下叛变，王世充特别制定了一条残酷的法令：如果一人失踪，就杀掉全家。然后王世充亲自率领三万人马援助慈涧城。李世民率领一队轻骑兵去侦察王世充的军情，却在半路上突然相遇，由于李世民人数太少竟然被团团围住。幸亏李世民英勇，左右开弓，箭无虚发，射死王世充部下好几十人。王世充的骁将燕琪来刺杀李世民，反而被李世民擒住，王世充无奈只好带兵撤退。李世民返回大营，第二天率领五万人马直奔慈涧接应罗士信。路上的敌将一听李世民来了，纷纷弃城而逃。王世充只好亲自统率精锐部队在青城宫列阵抵挡李世民。李世民隔河与他对阵，相持了几天。在此期间，又有许多州县投降李世民。
李世民行军打仗有个习惯，每天晚上都要查岗。这天晚上突然不见了降将寻相，他带来的河东士兵也跑了大半。寻相和尉迟恭同时归降李世民，寻相一逃，尉迟恭当然受到嫌疑。屈突通、殷开山等人将尉迟恭拿下，来劝李世民道：“尉迟恭骁勇绝伦，留下他恐怕有后患，不如趁早杀掉。我们把他捉来了，听候您处决！”李世民不以为然：“你们看到寻相跑了，就怀疑尉迟恭吗？如果他要跑，一定不会在寻相之后。可见尉迟恭并没有反叛的意思。”说完来到帐外，亲自给尉迟恭松绑，又带他进了卧室，取出一锭黄金递给他说：“大丈夫要有大度量，小小误会不要介意。如果你一定要走，这点金子可以给你做路费，聊表我的一点心意。请你放心，我不会听信谗言的。”尉迟恭听了这番话，不禁感激涕零，伏身下拜：“承蒙秦王如此厚待，我尉迟恭不是草木，感激不尽，定当誓死为秦王效力，只是这黄金实在不敢接受。”李世民连忙扶起尉迟恭：“将军要是不嫌委屈肯留下来，这点金子就收下吧。”尉迟恭仍然坚持不收，李世民只得说：“留作以后的赏赐吧。”
第二天，李世民率领五百骑兵巡视阵地，又遇上王世充杀来，人马不下一万。为首的单雄信手持长槊来刺李世民，李世民忙拔刀招架，但是刀短槊长，李世民有点手忙脚乱。这时候突然来了一员大将，从旁边直取单雄信，单雄信应声坠马，由他部下救回去了。来将正是尉迟恭，尉迟恭保护李世民，杀出重围，转身又率领骑兵冲入王世充阵中，左挑右拨，纵横无敌。这时候，屈突通也带领大兵赶到，一番酣战，杀了敌军一千多人。王世充落荒而逃，留下大将军陈智略断后。尉迟恭追过去。顺手一槊将陈智略打落马下，唐军捉了个活的，于是收兵回营。尉迟恭进见李世民，李世民忙起身迎接，又赐尉迟恭一盒金银，尉迟恭这才下拜接受。此后又有许多州城前来请降。
转眼间已是武德四年，李世民挑选了一支精锐的“敢死队”，全都穿着黑色的铠甲，分为左右两队，由秦叔宝、程知节、尉迟恭、翟长孙等猛将为偏帅，自己为统帅。每次作战，“敢死队”都冲在前面，无坚不摧。一次，屈突通、窦轨等人在巡视行营时被王世充袭击，性命危在旦夕。李世民听说后，急忙率领黑衣“敢死队”去救，“敢死队”冲入敌阵，就好像苍龙搅海一般，一时间骇浪奔腾，杀得王世充丢盔弃甲逃回了洛阳。
李世民移军青城宫，没等大营扎好，王世充就率领两万精兵主动出击，唐将一见这阵势都有些害怕。李世民扎下大营，登高远望，然后对众将道：“敌人看来是孤注一掷了，如果这一仗打败，他们就完蛋了。”于是召屈突通进大帐，命令他率领五千人马渡水骚扰王世充，临行前李世民面授机宜道：“同敌人交锋一定要速战速决，我定会亲自接应。”
李世民命令将士穿着铠甲待命，自己瞭望对岸。不一会儿就见隔岸飘起了一缕青烟，于是一马当先冲了出去。将士们也都跟着渡过了河，与屈突通的兵马并肩作战。王世充指挥将士拼死搏斗，两下里鼓声震天。双方忽进忽退，混战了大半天，王世充终于支持不住，领兵退去。李世民乘胜追杀，直抵东都。此时罗士信已经拿下了千金堡，王君廓也攻下了虎牢城。捷报传来，李世民大喜：“王世充失去两座险关，已经成为瓮中之鳖，取洛阳还不是易如反掌吗？”
唐军四面围攻，昼夜不停。无奈城中防守异常严密，大炮打出的飞石足有五十多斤重，能打到二百步开外；强弩射出的箭像车条一样粗，箭头像刀斧般坚利，能射到五百步那么远。唐军一旦挨着石头和弓箭，无不立刻倒地。李世民也曾射了书信招降，守将几次要做内应，都被王世充察觉，全都杀死了。王世充属下的御史郑颋自愿削发为僧，也被王世充怀疑，斩首示众。李世民屡攻不下，又给王世充送去招降的书信，晓以利害，也不见回信。此时大唐的将士都有些疲惫思乡了，总管刘弘基来劝李世民班师还朝，李世民摇头道：“我们大举来剿匪，无非是想一劳永逸，现在东边的州城已经全部归降，只剩下洛阳一座孤城。我料想他也守不了多久，眼看大功告成，怎能撤兵呢？”于是下了一道禁令：“洛阳一日不破，大军一日不还，敢言班师者斩！”众将这才不敢再说了。