唐高祖在中原的主要对手是王世充。王世充原是隋朝的江都通守，隋炀帝被杀之后拥立杨侗为帝，又打败瓦岗军，除了李密和部分军队外，其余的都被他收编。公元619年，王世充踢开杨侗，自己称帝，建立郑国，定都洛阳。
这时候，唐军已经削平了西北的几个豪强割据势力，稳定了后方。公元620年，唐高祖派李世民统率大军进攻东都。李世民大军一出关，河南许多州县纷纷投降，很快就把东都包围起来。
李世民不但善于打仗，而且善于用人。他从原瓦岗军和别的割据势力的降将中，收留了一批人。像有名的秦叔宝、程咬金、尉迟敬德（尉迟是姓，尉音yù），都成了他的得力助手。有一次，李世民亲自带了五百骑兵在阵地上巡视，被王世充发现，他立刻发动一万多步兵骑兵突然围上来，其大将单雄信冲到李世民身边，用长矛直刺过来。李世民后面的尉迟敬德飞马赶上，大喝一声，把单雄信刺下马来。尉迟敬德保护李世民突出包围，两个人又带着骑兵转过身在郑军阵地来回冲杀，吓得郑兵不敢阻挡。接着，后面的唐军源源不绝地上来，把郑军打得一败涂地。
从这年秋天一直到第二年春天，唐军把东都越围越紧，日夜不停地攻城。王世充在城里严密防守，不断用石炮、弩箭袭击城外唐军。时间一长，唐军将士也感到疲劳，有人向李世民建议暂时停止进攻，回长安休整后再打。
李世民说：“现在四周各州都已经投降，洛阳成了一座孤城，迟早可以攻下，怎么能半途而废。”接着就向将士发出命令说：“不攻下东都，决不退兵。”
王世充被逼得走投无路，只好派人偷偷地出城，赶到河北向窦建德求救。
窦建德领导的起义军是河北一支强大的力量。王世充自称郑帝以后，窦建德也自称皇帝，国号叫夏，攻占了唐军许多土地。他接到王世充的求救信，一面带领三十万人马，水陆并进，援救东都；一面派出使者给李世民送去一封信，要李世民退回关中。
唐军许多将军都被夏军的强大兵力吓怕了，主张暂时离开东都。还有人认为王世充兵力还很强，缺少的是粮食。如果让窦建德跟王世充两军会合，用河北的粮食接济东都，那么胜利就没有希望了。所以，一定要把南下的窦建德大军堵住。
李世民接受了这个建议，把李元吉留在东都继续围攻王世充，自己带三千多精兵北上，扼守武牢关（就是虎牢关。在今河南荥阳汜水镇）。
窦建德大军到了武牢关，被唐兵拦住，夏军发起几次进攻都没成功，李世民却派轻骑兵抄小路，把夏军的粮道切断了。
窦建德认为自己兵力强大，不怕攻不下武牢关。他拒绝了部下和妻子的劝阻，命令全军出动，摆开阵势，鼓噪着冲了过来。
李世民上高地观察了夏军的阵势，说：“窦建德没有遇到过强大的敌手，从他的阵势，就可以看出他骄傲轻敌。我们只要按兵不动，等待他们兵士疲劳的时候，一举出击，一定能打败他们。”
夏军兵士摆开阵势，准备交锋。但是，从早上到中午，还没有见唐军出来交战，兵士们又疲劳，又饥饿，有的坐在地上，有的到河滩上舀水喝。李世民一见时机已到，就命令将士渡过汜水，直冲窦建德大营。
窦建德正和他的将帅在大营聚会，听到唐军骑兵突然冲来，赶忙指挥骑兵应战。双方发生了激战，阵地上尘土飞扬，箭如雨落。
李世民乘夏军不防备，带领一支队伍猛插到夏军阵后，举起了唐军的大旗。夏军将士回头一看，以为唐军已经占领大营，无心再战，争先恐后地逃散。窦建德在混战中受了伤，被唐军俘虏了。
窦建德失败后，李世民再回兵围攻东都。王世充还想突围，将士们说：“现在夏王已经失败，我们就是突围出去，也没有用。”王世充眼看大势已去，只好向唐军投降。
至此，李渊统一了黄河流域地区。但窦建德在押送到长安后却被李渊杀死了，窦建德的部将刘黑
李世民又奉命征讨，和刘黑闼所部两万人激战，从中午战到黄昏不分胜负，李世民便命唐军决堤水攻，刘黑闼败退投奔突厥，然后又卷土重来。李渊命李元吉征讨，被刘黑闼击败。太子李建成又亲自出征，他采纳了谋士魏征的策略，安抚民心，最终瓦解了刘黑闼的部下，最后刘黑闼被杀。河北和山东地区终于平定，这时已经是唐朝建立的第六年了。