东晋灭亡以后，分裂多年的中国又重新统一了。这次统一是从隋文帝消灭陈朝开始的。
南北朝时期北周的大贵族杨坚在公元581年2月，逼迫年幼的周静帝退位，自己当上了皇帝。他就是隋朝的第一个皇帝隋文帝。隋文帝亲眼看到北周残暴的统治不得人心，惟(wéi)恐重蹈(dǎo)覆(fú)辙(zhé)。所以，他认为只有谨慎地处理政事、提倡节俭、实行廉政才能安抚民心。隋文帝自己就是以节俭著称的。有一次，他配止痢(lì药)要用一两胡粉，竟然找遍宫中也没有找到；又有一次，他想找一条织成的衣领，宫中也没有。他车马具坏了，不去做新的，而是派人去修补。平时，他就非常留意民间疾苦。有一年，关中闹饥荒，他看到百姓吃糠(kāng)拌豆粉，就拿来给大臣们看，责备自己没有治理好国家，下令饥荒期间自己和大臣们都不许吃酒肉。他曾经教训太子杨勇说：“自古以来，没听说有奢侈(shěchǐ)腐化而能长治久安的。你是太子，应当注意节俭。”另一方面隋文帝在国内又进行了许多政治改革，比如减轻赋税(fùshuì)，废除了残酷的刑罚，推广均田制等，隋朝的经济逐渐繁荣起来了，北方的生产有了很大的发展。
公元589年正月22日，晋王杨广进入建康城，将陈灭亡。隋文帝清楚地认识到，打天下不易，坐天下更难。他很注意皇亲国戚的行动，他们要是犯了法，也一律严惩。他的三儿子秦王杨俊觉得自己是皇子，又在灭陈的时候立下了战功，生活越来越奢侈，根本不把法律放在眼里。他指使手下的人放高利贷，敲诈勒索，使许多小官吏和老百姓倾家荡产。他模仿皇宫建造自己的宫殿，用外国进贡来的香料涂抹墙壁，用美玉、黄金装饰台阶，还搜罗许多美女，日夜寻欢作乐。隋文帝知道了这些情况，非常生气，下令罢免了杨俊的官职，把他禁闭起来。将军刘升去说情：“秦王还年轻，这算不了什么大错，陛(bì)下就饶了他吧!”隋文帝严肃地说：“法不可违，不论什么人都得遵守国家的法律。”过了几天，大臣杨素又来劝隋文帝。隋文帝说；“皇子和百姓一样只有一个法律，照你们的说法，为什么不另立一个皇子?任何人犯罪，都得依法制裁(cái)！”没过几天，杨俊病死了。他手下的人请求给杨俊立个石碑，隋文帝不同意，说：“想要留名，在史书上记一笔足够了，何必立碑！”随后，吩咐把杨俊府中奢侈华丽的装饰全部毁掉。
隋文帝对皇亲国戚、王子、大臣比较严；对百姓却比较宽。他下令制定“隋律”，废除了前朝的许多残酷刑罚。
公元600年，齐州有个叫王伽的小官押(yā)送70多个罪犯去京城长安。走到荥(xíng)阳的时候，王伽见这些罪犯头顶太阳，颈套枷锁，实在痛苦，便对他们说：“你们犯了国法，受了处分，这是罪有应得。可是，你们还给押送你们的民夫添了痛苦，让他们陪着你们风吹雨淋太阳晒，你们忍心吗?你们自己戴着枷锁，走这么长的路，也很不容易，我想把你们的枷锁去掉。咱们约定时间，到长安城门集合，你们能做到吗?”罪犯们都是感动，一齐跪在王伽面前说，“大人的慈悲，我们终生难犯，王伽便放了罪犯，自己带着随从向长安进发。约定的日期到了，罪犯们都按时来封城门口，一个也不缺。隋文帝所说这件事以后，马上召见王伽，对他大加赞赏，还把罪犯们召进宫里，设宴招待他们，并赦(shè)免了他们的罪行。随后下了一道诏书，要求各级官吏学习王伽，用感化的办法管理百姓。
隋文帝重视有真才实学的人。他对于那些提出正确建议的人，即使是批评他的，也都加以重用。太子杨勇生活越来奢侈，常常大摆宴席，让家臣唐令则弹琵(pí)琶(pó)唱歌，还叫后宫的美人出来跟唐令则学弹琵琶。隋文帝听说后，非常生气，把杨勇手下的大臣训斥了一顿；大家都吓得不敢吭声，只有李纲义正词严地说：“太子不过是个中等才能的人，可以变好，也可以变坏，就看什么人辅(fǔ)佐(zuǒ)他了。陛下派去唐令则这样的家臣，怎么能不把太子带坏呢?我认为这是陛下的过错。”隋 文帝一听，惊住了，说；“你的话虽然有道理，可是我选择你这样的人去辅佐他，他都不知亲近、重用，即使再派其他的人，又有什么用呢?”李纲马上又说：“我所以不被重用，就是因为小人包围了太子。如果陛下早把唐令则这类小人除掉，怎么知道太子不会重用我呢?责任还是在陛下。”隋文帝听了，很不高兴，一甩袖子退朝了，没想到，过了几天，隋文帝反倒任命李纲作了尚书右丞。
由于隋文帝的廉政和广大农民的辛勤劳动，政府的仓库都装得满满的。一直到隋朝灭亡以后20年，隋朝仓库的粮食还没有用完。