朱元璋召集群臣商议北伐的事，左丞相李善长出班奏道：“陛下，元惠宗经过多年的义军打击，已经是强弩之末，而我军连灭张士诚、陈友谅，士气正旺，兵精粮足，正是北伐的好时机！”
朱元璋又问群臣意见，一致赞同北伐，朱元璋大喜，封徐达为征虏大将军，常遇春为副将军，率领二十五万大军北伐。刘伯温亲自写了北伐檄文，昭告天下，檄文中历数几代元帝的昏聩、暴政、民不聊生，提出“驱逐胡虏，恢复中华，立纲陈纪，救济斯民”的口号。天下士民苦于元朝异族的暴政久矣，见到檄文无不振奋，踊跃响应，或坚壁清野不给元军一粒粮食，或探听元军虚实给明军报信，或直接从军参战，徐达军一路势如破竹，很快攻入下邳。
徐达与副将军常遇春商量，派大将张兴祖率一部军马先由徐州北上，攻取济宁和东平，试探元军的主力所在。元军以重金收买已经投降明军的元司徒、淮南行省平章政事、沂国公王宣、王信父子，令其降而复叛，并往莒州募兵，企图阻止张兴祖北上。
徐达闻报，立即进兵沂州，王宣被杀，王信逃往山西。徐达和常遇春趁机分兵收复失地，附近的峄州曹州、海州等地元军闻风而降。徐达在沂州稍事停留，命韩政扼守黄河，自率大军进攻益都（今山东青州）。
十一月底，元朝益都守将普颜不花力战不敌，逃走城破。徐达乘胜攻取寿光、临淄等地。张兴祖兵至东平，逼走元将冯德，追至东阿，迫使元将陈璧、杜天佑、蒋兴等各率所部归降，进而围攻济宁，元守将陈秉直接逃走。十二月上旬，徐达带领士兵至济南，元将多尔济投降，密州、蒲台等地的元将，亦先后请降。
元惠宗见山东形势危急，命中书右丞相伊苏、太尉知院托和齐、中书平章政事呼琳岱、陕西行省左丞相图噜等进军山东，然而诸将都不听从命令，徐达分头击破各路元将，基本占领山东之后，从济宁进攻汴梁。攻克汴梁后，又西攻洛阳，元将托音率五万元军在洛水以北列阵，被常遇春强行突破，退至陕州。驻守洛阳的元梁王阿哩衮见大势已去，率官民出降。徐达继续挥兵略取嵩、陕、陈、汝诸州，并命冯国胜率所部进攻潼关。
由汴梁退守潼关的元将李思齐和张思道，听说明军又逼近潼关，急忙率领部队西逃。明军向西连续攻克陇、秦、巩昌、兰州等地，进逼临洮，李思齐末路穷途，只好投降。徐达命薛显进攻西宁，亲率主力进攻庆阳。
五月初，连续攻下安定、会州、靖宁、平凉，又四面包围庆阳城，张良臣恃险顽抗，并向塞外的库库求救。库库为救庆阳，兵分三路牵制明军，一路攻大同欲下太原，一路攻风翔，一路攻泾州。徐达见库库兵势甚猛，暂取守势，幸亏冯国胜自驿马关引兵来救，才将元军击退。八月上旬，张良臣在庆阳粮饷已尽，外援无望，其部将开城投降。数日后，库库派往大同和凤翔方面的军队，亦被明军击溃。
洪武元年七月二十七日，徐达攻克通州。八月二日，包围元大都，然而元帝早已闻风而逃，大都无人守卫，元朝亡。
朱元璋闻报大喜，摆下太牢之礼，亲率文武百官祭拜天地、列祖列宗牌位，同时大赦天下，庆贺汉人江山光复！
刘伯温却十分冷静，这天晚上，悄悄进宫求见朱元璋，跪奏道：“陛下，元朝虽亡，元惠宗北窜大漠，但蒙古残军仍然在不断进攻，而元大将王保保拥兵十万，是个劲敌！不可大意！”
朱元璋命刘伯温平身，沉吟道：“王保保文武双全，是个人物，我听闻他四处调兵，要与徐达决战。徐达已经率军进入山西，攻取了泽州、潞州，先行站稳脚跟。我就派你去助徐达一臂之力，打好这收宫之战！”
刘伯温领命，心系战事，连夜出发，扬鞭催马，火速赶到山西潞州。
徐达见到刘伯温大喜，让进帅府，亲自斟茶让座，笑道：“诚意伯来得正是时候，王保保果然诡计多端，手下战将都是元军残余的精锐，十分骁勇，我军与王保保作战多次，互有胜负。诚意伯一来，我就放心了，王保保指日可破！”
刘伯温谦让了几句，问：“王保保现在何处？”徐达说：“王保保急于恢复元朝大都，拥立废帝复位，现在已经率大军去攻大都，我正准备出兵救援大都。”
刘伯温沉吟道：“王保保在太原经营多年，粮草多出自太原，不如围魏救赵，兵法太原，我料王保保必定回师救援，大都之围不救自解。”
徐达喜道：“诚意伯言之有理，王保保去攻大都，一时半会攻不下来，若失去了太原，后退无路，会被我军两面夹击！”于是立刻点兵出征太原。
到达太原后，刘伯温让徐达四面围城，日夜击鼓鸣锣攻城，声势浩大！王保保听说太原告急，慌忙回师救援，率数万骑兵驰回，在太原城外扎营，邀徐达决战。
刘伯温说：“徐达元帅，王保保急急赶来，气势正盛，不宜与之决斗。可深沟高垒不战，先消磨元兵锐气，过几日再说。”
徐达欣然同意，就请刘伯温指点部下扎的军营，刘伯温看了良久，作出调整，按九宫八卦之势重新扎营。王保保知道太原城事关成败，亲率诸将猛攻徐达营寨，刘伯温笑笑，让徐达传令，各军把守本寨，让王保保攻入。
王保保冲进来一看，到处是营盘，道路曲折，却辨不清方向，心中大惊，知道徐达军中必有高人，不敢贸然深入，原路退回。
三日后，刘伯温观察王保保部下锐气已泄，下令三更时分突出奇兵，夜袭王保保军营！徐达、常遇春身先士卒，，黑夜中犹如神兵天降，杀进敌营，所向披糜。
王保保未及披甲出战，营寨就被大半攻陷，只好被败兵护着逃跑了，流窜进大同。刘伯温下令趁胜追击，不给王保保喘息的机会，王保保只好继续逃命，逃进定西城，才躲过追兵。
第二天徐达率主力赶到，在定西以北对垒。这次徐达决定与王保保决战，刘伯温亲自调兵遣将，两军恶战整整一日，徐达、常遇春全歼王保保军八万多人，王保保仅带了妻儿亲兵数人，逃去漠北投靠上都的元惠宗去了。
天下基本平定，徐达下令大军就地休整，派人送表禀报朱元璋，朱元璋大喜，以其功大，下令有司于应天城徐达府前治甲第，赐其坊日“大功坊”。
战事平息，刘伯温有一心愿未了，单身匹马，去了四川定军山。
刘伯温到此可算功成名就，未免得意，加上满朝文武都夸赞他功绩、计谋超过了汉代名相诸葛亮，就决意去看看诸葛亮的坟墓。