元大都攻下之后，下一步便是平定晋陕了。然而，尽管元顺帝失去了大都，但是其仍然在上都发号施令，指挥元军抗击朱元璋的部队。
此时的元军从数量来看，依旧无比庞大，依旧保持着较强的战斗力。攻克大都后，徐达、常遇春统率北伐大军向西进攻山西、陕西。
由于山西、陕西远离红巾军爆发的核心区，一直以来是元朝政府的实控区，所以不管是政权组织，还是驻军体系都是十分完整的，这就给北伐大军带来了不小的挫折。
从洪武元年八月到洪武二年八月，北伐大军用了整整一年的时间，才完成了北伐第四步的战略成果，要知道之前北伐大军平定山东和河南这两个地区才用了不到半年的时间。
在这一年的时间里，山西、陕西的元军不但顽强抵抗，而且还有力量组织了几次大规模反攻，给北伐大军造成了巨大的伤亡。
放眼整个北伐战役，进攻山西、陕西这一场战役，可以说是最艰苦的一场战役，也是伤亡最大的一场战役。
首先，北伐大军从河北从翻越太行山进入山西南部，但是在泽州城下遭遇了扩廓帖木儿调派的援军。驻扎在泽州城中的元军，见援军来了，便打开城门与援军共同夹击北伐大军。
北伐大军虽顽强奋战，但由于在战略方面已经失去先机，最终不敌元军，败退河北。至此，北伐大军遭遇了北伐以来的第一场失败。
而扩廓帖木儿经过战略预判发现北平（朱元璋改大都为北平）防守空虚，便亲自率军进攻北平西北方向的战略要地雁门关，意图夺回北平城。
徐达得到情报之后，在一番研判之后，并没有率军回援北平，而是径直统率北伐大军直捣扩廓帖木儿的根据地太原。
这时候扩廓帖木儿还没来得及赶到雁门关下，听闻老家被偷，急忙回师救援。但是，徐达早已在扩廓帖木儿回师的半路上设下埋伏。
半夜时分，只见火光四起，万箭齐发，扩廓帖木儿所部陷入北伐大军的重重包围。在连绵不绝的砍杀声中，扩廓帖木儿不知所措，幸得部下奋死拼杀，才突出重围，带着十八骑兵向北遁走。
扩廓帖木儿战败逃走之后，北伐大军很快攻克太原，平定山西。北伐大军稍作休整之后，便立刻开拔，进军陕西。
洪武二年三月，北伐大军攻克奉元路（今陕西西安），陕西大局已定。面对急转而下的局面，李思齐先逃奔凤翔，后逃奔临洮。
再后，面对步步紧逼的北伐大军，李思齐所部军队纷纷四散溃逃。见此情形，李思齐自知继续反抗也不是对手，便主动投降了。
在北伐大军攻略陕西的时候，退守上都的元军蠢蠢欲动，乘虚进攻通州。此时的北平仅驻守少量守备部队，自然不是元军的对手，差点就被元军攻破了。
所幸徐达及时派出常遇春、李文忠统率步骑九万救援北平，不然问题就大了。进攻通州的元军眼见北伐大军又杀回了，急忙逃奔塞外。
常遇春、李文忠见状，则抓住时机，统率大军尾随逃跑的元军出塞，直捣元上都。面对饿狼一般的北伐大军，元顺帝发挥所长，再次施展逃跑技能，带着一家老小北逃沙漠。
北伐大军攻克元上都之后，北平城也转危为安，再无来自北方的危险了。然而，副元帅常遇春突发疾病暴卒，莫名为北伐增添几分悲壮的色彩。
常遇春死后，李文忠率军继续征战，大败围攻大同的元军，生擒脱列伯，阵杀孔兴，狠狠地打压了元军气焰，使得元军闻风丧胆。
元顺帝眼见几次反攻计划都遭遇失败，自知大势已去，在叹了几口气之后，彻底打消了反攻大都的念头。从此，元顺帝定下心来，重新回到他祖宗放牛牧马的蒙古草原，重新去过幕天席地、水草转徙的游牧生活。
实际上，元顺帝还不算最惨的，至少比北宋徽、钦二帝要好很多，做不成统治华夏的中国皇帝，那么做一个称雄漠北的蒙古可汗还是可以的。
徐达统率北伐大军则继续西进。驻守庆阳的张良弼丢下弟弟张良臣，逃奔宁夏，结果被扩廓帖木儿俘虏了。见北伐大军攻势凶猛，此时驻守庆阳的张良臣献城投降。
不久，张良臣鼓动部下反叛。徐达大怒，命令部下进攻庆阳城。城破之后，张良臣被徐达砍掉了脑袋。自此，陕西平定，北伐完结。