江山已定，太祖有心弃武从文，常常想把兵权从那些身经百战的功臣手里收回来。只因北方还没有平定，南方也还有余孽，一时不便撤兵，只好一直拖延。但总是耿耿于怀，于是决定修明文治。洪武二年，太祖诏告天下，所有郡县都设立学堂。每三年进行一次科举，有乡试、会试等名目。乡试定在八月，会试定在二月，每三年考一次，每次考试分为三场。第一场考四书经义，第二场考论判章表，第三场考经史策。到了后来，又将四书经义，改为八股文，规定越来越严，范围也越来越窄。学子们纷纷揣摩迎合，都从八股文这边用功，弄得满口之乎者也，迂腐不堪，没一点实用。这种流毒一直延续了五六百年，才得到改革。
太祖四处征求贤才，派人寻找高人。元朝的行省参政蔡子英，自从元朝灭亡后，就跟着扩廓铁木儿逃到定西。扩廓铁木儿兵败逃跑后，蔡子英四处流亡。太祖听说他的姓名之后，命人将他的相貌画下来，在各地寻找。汤和找到后将他送到京师。太祖亲自为他解开枷锁，以礼相待。后来又给他封官，蔡子英始终不肯接受。一天晚上，蔡子英忽然大哭不止。别人问起原因，蔡子英说想起了旧主。太祖知道他很难回心转意，就命人将他送出塞外，让他继续跟随元主。
除蔡子英外，元朝的行省都事伯颜子中也是一名忠君的奇才。伯颜子中曾经守卫赣州，陈友谅攻破赣州后，伯颜子中逃到福建。太祖一再招揽，他都不肯前来。后来，明朝的布政使沈立本派人以重金相聘，伯颜子中叹息着说：“现在死已经太迟了！”说完写下七篇诗歌，饮鸩而死。
太祖担心自己深居宫中，难免闭目塞听，就常常带几名亲信，微服出行，一边探访贤士，一边侦察吏治，一边调查民情。所以江淮一带，有很多太祖君臣的踪迹。相传太祖曾微服临幸多宝寺。太祖走到大殿里面，看见幢幡上都写着多宝如来佛号，就对侍从说道：“寺名多宝，有许多多宝如来？”学士江怀素听了，脱口答道：“国号大明，无更大大明皇帝。”太祖大喜，升他为吏部侍郎。太祖走到后院，看见一间屋子的门上贴着一张纸条，上面写着“维扬陈君佐寓此”。陈君佐年轻时候很有才华，落拓不羁，曾与太祖有过一面之交。太祖立即召他相见。陈君佐拜见完毕，太祖笑着问他：“你当初幽默滑稽，我们一别这么久，你还像以前那样伶牙俐齿吗？”陈君佐没说话。太祖又问他：“朕现在已经得到天下。你说说看，朕像以前的哪位君主？”陈君佐说：“臣见陛下当初蛰伏的时候，常常吃草根、啃树皮；等到行军打仗的时候，又和将士们同甘共苦，吃些粗粮野菜。臣以为陛下酷似神农氏，否则怎么一再品尝百草呢？”太祖鼓掌大笑，让他跟随左右。路上经过一间酒肆，太祖带众人进去歇脚。酒肆很小，除了有些酒和豆子之外，什么菜都没有。太祖就说：“小村店三杯五盏，没有东西。”陈君佐随口接道：“大明君一统万方，不分南北。”太祖再次大笑，对陈君佐说：“你就跟着朕入朝，当个词臣，怎么样？”陈君佐不肯，太祖也不勉强，当即与他作别。
过了几天，太祖又微服出行，途中遇到一个儒生。太祖见他风流倜傥，就和他聊了起来。这位儒生自称是重庆府监生。太祖出题考他：“千里为重，重水重山重庆府。”儒生不假思索，马上对道：“一人为大，大邦大国大明君。”太祖非常高兴。问明他的住址之后，才与他作别。第二天，派人赏赐千金。儒生这才知道是遇着太祖，庆幸不已。
太祖曾在元宵节的时候，出宫赏花灯、猜灯谜。有一盏花灯，上面画着一位妇人，手里拿着个西瓜，安坐在马上，马蹄很大。太祖一见，怒火冲天。回朝后，马上命刑官缉查，要将做灯谜的百姓杖死。刑部莫名其妙，请皇上恕罪。太祖生气地说：“亵渎皇后，犯大不敬之罪，还能饶恕吗？”刑官仍然不解，只好遵旨用刑。后来研究起来才知道，马皇后是淮西妇人，有一双大脚，谜底指的就是马皇后，所以触怒了太祖，招来灭顶之灾。
太祖曾写过这样一首诗：“百僚已睡朕未睡，百僚未起朕先起。不如江南富足翁，日高一丈犹拥被。”江南有一位富豪，名叫沈秀，绰号为沈万三。太祖进入金陵的时候，准备修筑城墙，苦于没有资本，就去找沈秀商议。沈秀表示愿意与太祖对半筑城。太祖和他约好同时筑城，沈秀点头答应。于是双方募集工役，连夜赶造。等到完工的时候，沈秀这边比太祖早了三天。太祖表面上大加抚慰，暗地里却怀恨在心。后来沈秀修筑苏州街的时候，用了几块茅山石。太祖就说他擅自挖掘山脉，将他打入大牢，准备赐他死罪。马皇后得知后，替沈秀求情。太祖说：“百姓富可敌国，实在是不祥之兆。”马皇后说：“国家订立法律，都是诛杀不法，却没听说过诛杀不祥。百姓富可敌国和国法有什么关系？”太祖只好将沈秀杖责后，流放云南。沈秀后来死在路上，万贯家财全部归公。苏州某富翁听说这件事情后，力行善举，散尽家财。后来，太祖又吹毛求疵，诛杀富豪。富家子弟倾家荡产，命丧黄泉的不计其数，唯独苏州那位富翁得以幸免。
太祖得国之后，立功的武将，首推徐达、常遇春；立功的文臣，要算李善长、刘基。刘基知道太祖的秉性，每次封官拜爵他都一再推辞。李善长做了右丞相，被封为韩国公，不免有些骄态。太祖有心换掉他，刘基说：“李善长功勋很高，又能调和诸将，不应该轻易换掉。”太祖说：“李善长常常揭你的短，你还要替他说情吗？朕就让你来做右丞相。”刘基说：“这就像是堂中换柱子，必须用大而结实的木材。要是用小木材的话，不是墙倒就是屋塌。臣是小材，怎么能做丞相呢？”太祖说：“那杨宪怎么样？”刘基说：“杨宪有丞相之才，但没有丞相的器量。”太祖又问：“汪广洋呢？”刘基说：“还不如杨宪。”太祖又问到胡惟庸，刘基摇着头说：“不行，不行，如果用他的话，恐怕会招来祸端。”太祖默不作声。后来杨宪犯诬陷罪伏法，李善长又辞去相职。太祖竟然用汪广洋为右丞相，胡惟庸为左丞相。汪广洋位居相位两年，庸庸碌碌，无所建树；胡惟庸不但狡黠多端，而且善于奉承，渐渐得到太祖宠信。太祖后来就罢免汪广洋，让胡惟庸做了右丞相。刘基感叹道：“胡惟庸得志，一定会成为百姓的祸害。要是我的话没有应验，那就是百姓之福了。”胡惟庸听了，怀恨在心，唆使刑部尚书吴云诬陷刘基，说他想在王气之地建墓，图谋不轨，应该加以重罚。太祖似信非信，但还是扣除了刘基的俸禄。刘基忧愤成疾。服下几味药之后，反而觉得胸中像有东西堵着，后来竟不能进食，没过多久就不行了。太祖派人将他护送回青田，一个多月后，刘基就逝世了。后来胡惟庸伏法，经彻查，才知道是他设计毒死了刘基，太祖非常惋惜。怎奈木已成舟，后悔也来不及了。
胡惟庸除掉刘基后，更加肆无忌惮，生杀贬徙，为所欲为。魏国公徐达密奏太祖，说胡惟庸是奸邪，不见太祖听从，却被胡惟庸反咬一口，差点弄巧成拙，禄位不保。后来，胡惟庸想到自己与徐达有过节，终究不是件好事，便想出一计，把侄女嫁给了李善长的侄子，好与李善长结为亲戚，引做靠山。李善长那时虽然已经罢相，但仍然得宠，有时出入宫中，免不得替胡惟庸说几句好话。胡惟庸有了这个靠山，又渐渐骄纵起来。这时候，胡惟庸定远老家旧宅子的井里，忽然生出竹笋，高达数尺。一帮趋炎附势的门客都说是瑞兆。又有人说，胡家的祖坟上每天晚上都亮着红光。
后来，安吉侯陆仲亨和平凉侯费聚都遭到太祖的斥责，心中忐忑不安。胡惟庸乘机勾结他们，作为党羽，并让他们在外面招兵买马。后又私结御史中丞陈宁，阅览天下兵籍，招揽勇夫作为卫士，然后又托亲家李存义说服李善长，伺机谋逆。李善长一开始还惊慌失措，后来经李存义一再劝告，又变得模棱两可。胡惟庸看到李善长没有拒绝，以为大事可成。当即派明州卫指挥林贤下海招约倭寇，又派人给远在塞外的元主写信，请他作为外应。后来听说汪广洋被赐死，情势变得更加紧迫。原来，汪广洋被罢相之后，胡惟庸又将他引荐。所以汪广洋虽然知道胡惟庸不法的事情，却都没有说。后来御史中丞涂节上疏太祖，说刘基是被毒害而死，汪广洋知情不报。于是太祖就将汪广洋贬到云南，然后又下诏赐死。胡惟庸心里非常害怕，一边贿赂涂节；一边秘密勾结倭寇，准备造反。
洪武十三年正月，胡惟庸上奏太祖，谎称自己京城的宅井中涌出甘泉，请太祖临幸。太祖信以为真，趋驾前往。刚刚走出西华门，内使云奇忽然冲上前来，拦在队伍前面，好像有话要说，情急之下，却发不出一点声音。太祖认为他不敬，于是命令左右，拖下去痛打。云奇右臂被打折，就在奄奄一息的时候，仍然用手指着胡惟庸府第的方向。太祖这才明白过来。他连忙返回城中，登上城楼，远远看到胡惟庸的府上，站着很多兵马，这才知道胡惟庸谋逆，立即命羽林军前去抓捕。涂节得知消息后，为了避免大祸临头，就想出一个办法替自己脱罪。他急忙跑去禀报太祖，说胡惟庸准备谋逆。话音未落，羽林军已经将胡惟庸绑来，太祖亲自审讯他。胡惟庸一开始还不肯承认，经涂节作证，才供认不讳。太祖于是命人将胡惟庸拖出去凌迟。