3月下旬，国民党军对山东解放区的重点进攻正式开始。先后被调往山东战场的兵力达到24个整编师(军)、60个旅，45万人，并以其精锐主力整编第74师、第5军、整编第11师为骨干，分别编成三个机动兵团，担任主要突击任务。
其中第1兵团8个整编师共20个旅20万人，由司令官汤恩伯指挥，是进攻的主要集团，该兵团企图首先占领沂水、坦埠一线，尔后与第2、第3兵团通力向北、向东进攻，迫使华东野战军主力决战或北援黄河。
另外，第2绥靖区5个军部署在胶济铁路(青岛一济南)和津浦铁路(天津一浦口)泰安以北地区，策应3个兵团作战;第3绥靖区2个整编师在峄县、枣庄为2线部队。
4月上旬，国民党军以一部兵力打通了津浦铁路徐州至济南段和临沂至兖州的公路，占领鲁南解放区后，三个兵团分别由临沂、泰安、泗水向鲁中山区发起全线进攻，企图寻找华东野战军主力决战。
敌军总兵力达13个整编师(军)、34个旅，25万余人，相当集中，为了避免在进攻中被华野分割歼灭，采取了“密集靠拢、加强维系、稳扎稳打，逐步推进”的方针。
4月初，华东野战军自焦济路南下，隐蔽配置于与国民党军方阵相对应的50 公里地带，相距仅10公里左右。6日，国民党军派飞机对驻坦埠附近的华东野战军指挥部进行轰炸 ，19日发起了全面进攻。
华东野战军展开了阻击战。华东野战军在山东的兵力有9个步兵纵队和一个特种兵纵队，约27万余人，与国民党军兵力相比居于劣势。
从3月下旬至5月上旬一个多月的时间里，华东野战军主动出击，与敌进行了几次接触和作战，但除了4月下旬在泰安歼灭了敌第72师主力外，其余大量歼敌的计划均未实现。
华东野战军司令员兼政治委员陈毅、副司令员粟裕于5月上旬调整部署，将主力东移，后撤一步;并以准备南下华中的第2、第7纵队隐蔽集结于莒县地区，以进入鲁南的第6纵队隐蔽在平邑附近地区，待机配合主力作战。
华野主力东移后， 使蒋介石、陈诚产生了错误判断，误认为华野“攻势疲惫”，可能继续向东北方向的淄川、博山方向撤退。遂于5月10日命令各部兼程前进，跟踪追剿，以实现在鲁中山区与华野主力决战之目的。
顾祝同转令3个兵团放胆向博山、沂水一线疾进。右翼第1兵团改变原定的稳扎稳打战法，不待第2、第3兵团统行动，即以整编第74师为骨干，在整编第25、第83师的配合下，于5月11日自垛庄、桃墟地区进攻坦埠，企图乘隙占领沂水至蒙阴公路;另以第7军及整编第48、第65师在左右两侧担任掩护。