28日，日军攻到台儿庄西北角，想要夺取西门，切断中国守军第31师师部与庄内的联系。该师师长池峰城组织数十名敢死队员，与敌肉搏格斗。汤恩伯军团则在外线向枣庄、峄县日军侧背攻击。29日，日军濑谷支队占领了台儿庄东半部。31日，中国守军将进入台儿庄地区的濑谷支队完全包围。
日本坂本支队从临沂转向台儿庄驰援，但遭重创，救援计划落空。矶谷师团见救援无望，决定以死相拼，一个个杀红了眼。国民党军队虽有5倍兵力的优势，竟难以将敌人消灭，战争一时呈胶着状态。
4月3日，李宗仁下达总攻击令。围攻的各军在台儿庄附近向敌展开猛烈攻势。4日，中国空军以27架飞机对台儿庄东北、西北日军阵地进行轰炸。当晚，日军濑谷支队无力再战，炸掉不易搬动的物资，向峰县溃逃。
6日，李宗仁赶赴台儿庄附近，亲自指挥中国军队向矶谷师团发起反击。一直坚守阵地的孙连仲部，听说全线反击，顿时军心大振。一时间，台儿庄城内枪林弹雨，血流成河。双方展开了巷战、肉搏战。日军头一次遭到国民党军队如此顽强的进攻，很快便溃不成军。