中央集权后，统一问题摆在宋太祖面前。环顾四周，宋太祖深感局势的严峻。
公元960年11月，一天夜晚，宋太祖和赵匡义冒雪敲开了赵普的家门。赵普深为惊异，赵匡胤说："一榻之外，皆他人家，难以入睡。吾欲取北汉。"
赵普说："若先取北汉，则辽国之患必由宋独自承担，先放过北汉，可使其为宋之屏障。依臣之见，不如先易后难，先南后北，待削平南方，国家富足以后再攻北汉。北汉弹丸之地，将易如反掌！"
赵匡胤点头称善。
南方地区经济发达，人口众多，但各政权政治腐败，军力衰弱，容易攻取。先南后北，顺理成章，形势使然。
合并荆湖是"先南后北"统一战略的第一步妙棋，此举切断了后蜀和南唐的联系。963年1月，宋军出师征讨荆南。2月，宋军兵不血刃地完成了对江陵的占领，荆南归宋朝，湖南的周保全政权为之震惊。3月，宋军乘胜大败湖南之军。3月10日，宋军顺利进入郎州城，抓获周保全及其家属。至此，湖南归宋朝。
11月初，宋太祖派出6万多人伐蜀，一路势如破竹。正月13日，后蜀投降。
968年8月，赵匡胤发兵进攻北汉，占领了一些州县。辽与北汉之间虽有矛盾，但不愿意宋朝将北汉消灭。在接到北汉的求援后，即命挞烈为兵马总管，驰援北汉。
11月，辽军杀将过来，围攻太原的宋军腹背受敌，被迫撤军。北汉军举行反攻，收复了失地。
969年2月，宋太祖御驾亲征，再攻北汉。这一次，几乎倾全国之兵。宋军势如破竹，围攻太原城，太原城的形势紧张起来。
北汉孤城固守，多次击退宋军的进攻。宋军猛攻100多天，损失惨重。此时，辽国大队骑兵已抄近道奔至，来到太原城西，宋军被迫撤退。
赵匡胤早已下令将北汉百姓强行移民到山东、河南，官给口粮。赵匡胤对北汉实行的人口灭绝政策，使北汉名存实亡了。北汉当时只剩兵3万，人口3.5万户。
宋太祖在南征之时，仍念念不忘收复燕云十六州。宋太祖把平定江南诸国所得到的金帛运回京城，建立了专门的库房，准备贮满500万以后，以此为军费，建立强大的军队，收回燕云十六州。
971年，宋军灭了南汉。
976年，南唐灭亡，吴越唾手可得，宋朝基本统一了南方。8月，宋太祖三征北汉。10月，宋太祖突然去世，赵匡义以皇弟的名义下令撤军。
至太祖去世时，除了北汉外，宋朝基本统一了天下。
对于赵匡胤的死因，正统史学家司马光在《涑水纪闻》中说，宋太祖临死前没有留下赵匡义继位的遗诏，赵匡义纯属篡位。
976年10月19日晚上，赵匡胤召赵匡义入宫赴宴。赵匡义在酒中偷下毒药，赵匡胤在几小时后毒发身亡。
那时候，关于太祖之死，朝野另有"烛影斧声"之说。
宋太祖已入暮年，身体越来越差。周世宗死后由年少的恭帝继位而出现的"主少国疑"的局面，使后周的江山葬送掉。这个严酷的事实，在宋太祖的心灵中留下了创伤，再加上母亲杜太后的极力主张，宋太祖只好挑选皇弟赵匡义为储君。宋太祖当着太后的面，命朝官把他的决定作为遗嘱记下来，封在金匮中，即神秘的"金匮之盟"。976年初，宋太祖曾问卜于神秘道士："我还有多长的寿命？"道士说："若十月二十日天气晴朗，你可再活12年；若不是，十月二十日就是你的大限之日。"太祖记住了。十月二十日，白天天气很好。夜里，太祖来到太清阁观天象：星光灿烂。太祖心里高兴；突然，阴云密布，天降雪雹，天昏地暗。太祖连忙撤走仪仗，回到寝宫，传诏皇弟赵匡义速来寝宫。赵匡义赶到后，太祖喝退宦官、侍女，兄弟二人饮酒。只见烛影摇红，赵匡义不时摆手，似乎不想接受什么。二更时分，门外地上的积雪达几寸厚。太祖走出寝宫，用斧子戳进雪地，他凄厉喊道："好做！好做！"说完，太祖回到寝宫就寝，鼾声如雷。五更时分，宋太祖大限已到，突然暴毙。烛影斧声，遂成了千古之谜。
宋太宗赵匡义又名赵光义，是北宋的第二代皇帝。赵匡义继承其兄赵匡胤的遗志，收降吴越国，平定北汉，最终完成了统-大业。赵匡义伐辽失败，转而重文轻武，有所成就，促进了社会的繁荣与稳定。