5月17日，菊兵团各部队全部到达洛阳周围。兵团长野副昌德决定18日开始进攻洛阳。当天，除城北邙岭区仍为第65师防守外，城西、南、东三面日军均已迫近城垣。在守军坚强抵抗下，日军的多次突击均被击退，激战终日，毫无进展。
“华北派遣军”于20日晚下达命令:“应以目前态势继续进攻，并纳入第12军司令官指挥。”
21日至23日，日军先后攻占邙岭区内后洞、上清宫、苗家岭等各要点，守军退入城中。5月24日13时，日军在航空兵、炮兵及坦克支援下，对城垣发起猛攻。激战约1小时，日军战车第3师团及其机动步兵即突破城西北角。17时，第63师团亦突破城东北角。18时20分左右，日军的坦克冲入城内，中、日双方军队展开激烈的巷战。第15军军长武庭麟下令各部队各自夺路突围。黄昏后，大部撤出，未接到命令及未及撤离的官兵仍英勇地进行逐屋争夺战。激战彻夜，至25日8时，日军完全占领洛阳。
豫中会战仅37天，损失了38座城池，日军即打通了平汉路南段，并占领了沿线各要点及古城洛阳，击溃了第一战区的主力部队，实现了战役企图。第一战区的军队损失严重，第36集团军总司令李家钰在撤退中牺牲。据事后统计，第一战区在此次战役中伤亡军官817员、士兵18327人，日军伤亡4000人;据日本防卫厅防卫研究所统计，日军伤亡3350人，中国军队阵亡32290人，被俘7800人。
第一战区在战役结束后所作《会战之检讨》中说:“此次中原会战，挫师失地，罪戾难辞。”确是事实。为此，第一战区司令长官蒋鼎文和副司令长官汤恩伯均被撤职。豫中的失利大大刺激了日本人的胃口，5月23日，日军第11军指挥所从汉口推进至蒲圻。
5月25日、26日，日军第1飞行团空袭长沙，并与中、美空军在荆门上空进行了空战。
5月27日，日军第一线5个师团开始分3路向第九战区崇阳迄公安、南县一带发起全线总攻:东路第3、第13师团于5时首先向守军第30集团军第27军阵地进攻;中路第116师团(欠1个联队)、第68师团于21时至24时强渡新墙河，向守军第27集团军第20军阵地进攻;西路第40师团、第116师团的第109联队、独立混成第17旅团的2个大队以及独立步兵第5旅团以3个大队编成的野地支队均于24时向松滋河东岸守军第99军第92师前进阵地进攻。
第34师团第218联队(针支队)于20时，在海军支援及前导下搭乘170余艘小艇由岳阳南航进入洞庭湖中。迄28日零时，日军第一线部队全部投入战斗。
日军发动总攻后，迅速突破守军第一线阵地，强渡过新墙河，向纵深攻击前进。战斗至6月1日，东路日军第3、第13师团先后攻占通城、麦市、南江、龙门驿及平江;守军新13师撤退至南江以东的幕阜山区，第20军转移至平江以南祖师岩附近收容整理。
中路日军第116师团(欠1个联队)及第68师团相继攻占杨林街、黄沙街、关王桥，进至汨罗江北岸，乘汽艇南下的第218联队则越过汨罗江，攻占归义;守军第20军退守汨罗江南岸，第37军留一部兵力防守汨罗江阵地，主力南撤至上杉市。