1938年春季，日寇的精锐部队第十师团的一个旅团等，企图沿津浦线南下攻占徐州。当时国民党第五战区司令长官李宗仁负责指挥徐州一带战事。蒋介石于徐州方面告急时，也认为在战略上有加强第五战区之必要，乃仓促檄调第一战区驻河南补充训练尚未完成的汤恩伯军团与孙连仲第二集团军星夜增援。

第五战区长官部判断，恃战胜余威、骄狂分万的矶谷师团长一定不待蚌埠方面北上敌军的增援呼应，便要直扑台儿庄，以期一举攻下徐州，抢先夺取打通津浦路的大功，故调兵遣将，张网以待。除以孙连仲部正面迎敌外，又派汤恩伯潜行南下拊敌之背，协同孙部包围日军而歼灭之。

3月19日，孙连仲接到命今后，立即指挥部队东调，指定参谋人员先行赴徐州以北地区选定前进指挥所。同时命令池峰城第三十一师进驻台儿庄及其附近地区，构筑工事，掩护他部陆续集中。

第二集团军完成后的布防概况是：台儿庄城寨由第三十一师一八四团防守。该师其他部队一部分防守台儿庄以西七里之范口村及以东约三里之官庄，准备协同台儿庄核心之作战。另一部分沿大运河南岸布防。

池峰城在城寨外指挥。第二集团军的第二十七师、第三十师和第四十四旅陆续集结于贾汪东北和台儿庄以南地区。总司令部设在距台儿庄城寨五公里处。

3月22日，池峰城师进驻完毕。次日，由峄城南下之敌进犯台儿庄，中国军队还击，形成对峙状态。刘兰斋率骑兵从台儿庄北门出击日军，乜子彬旅长率第一八三团跟进，在康庄与日军骑兵遭遇，出击部队边战边退，诱敌深入。

第一八三团在獐山与日军激战至晚。同日下午，敌机多架在台儿庄一带低空飞行，进行侦察扫射、一场喋血大战即将展开。

24日晨，日军三个联队约五六千人，在飞机、坦克、重炮配合下，向台儿庄猛扑。临战之际，孙连仲亲赴前线调令下属：“面临强大的敌人，我们只能依靠地形挡住它，再利用夜里的小突击拖住它。没有命令，决不撤退。”

战斗中，日军摧毁了台儿庄北城墙，从突破口冲了进来。池峰城亲率敢死队与敌拚杀。李宗仁闻报，明令以十万银元奖赏。但敢死队员一致表示：“只要抗战，不要银元！”

当晚，池峰城身先士卒，率队夜袭敌阵，在第一八六团配合下，杀出一条血路，将从突破口冲入日军全部消灭。此后连续数日，敌军仗其优势武器装备，利用白昼作战。中国军队坚决抵御，同时摸黑夜袭，消灭敌人，双方展开了激烈的拉锯战。

29日凌晨，孙连仲召集军、师、旅长及炮兵团长会议，重申固守台儿庄之志。并指出：当面之敌似在待援中，我以钳形攻势当可聚歼之；第三十一师仍须独自为战，以利外线组织战斗。

战斗延续到4月3日，日军攻占了台儿庄的东南门，侵入城寨内百米，同时掷催泪瓦斯弹。台儿庄三分之二的地方为日军占领，中国守军死伤十之七八。孙连仲的部队据守南关一隅，死拚不退。

这时，李宗仁来电话，严令第二集团军守至次日拂晓，等待汤恩伯军团前来增援。孙连仲大义凛然地说：“长官有此决心，我第二集团军牺牲殆尽不足惜，连仲亦以一死报国家。”于是集合可用之兵，包括炊事兵、担架兵都一并参加，组成一个敢死队，于午夜袭击敌人。

这时，池峰城来电话请示可否撤退至运河南岸，孙连仲命令说：“士兵打完了，你自己填上去。你填过了，我就来填进去。有谁敢过河者，杀无赦！”池部乃以必死之决心，逐屋抵抗至4日黄昏，将敌增援部队击退。

4月6日，中国军队完成了合围任务后，全线出击。日军矶谷、板垣两师团阵脚大乱，狼奔豕突，渐向北撤去。孙连仲部与友军内外夹击，横扫残敌。

台儿庄战役以中国军队的全胜而结束，史称台儿庄大捷。此役中，孙部武器虽劣，但官兵勇于作战、不怕牺牲的精神弥补了这一点。近战时大刀发挥了很大威力。孙部官兵还用十二枚一捆的束集手**炸毁敌军坦克。

1939年夏天，孙连仲乘部队整训的机会，到重庆住了两个月。他觉得自己的部队在抗日战场上表现不俗，尤其是台儿庄一战打得很出名，他想谋求到一个战区司令长官或省主席的地位。

但由于他没有加入派系，在国民党军政要员中，除了和张厉生私人关系较近外，别的没有得力的外援，而蒋介石是不会轻易把较大的权位授予杂牌将领的。

孙连仲活动了两个月后，蒋介石对于像孙连仲这样一个有功之臣也不能不应付一下，便决定把孙调为第五战区副司令长官，作为李宗仁的副手。因为李宗仁是个老将，让孙做他的副手，比做“后起之秀”卫立煌的副手面子上要好看些。

同时蒋还把第六十八军刘汝明部编入孙的第二集团军的序列。第六十八军也是原西北军的部队，当时辖有一一九、一四三两个师和独立二十七旅。六十八军副军长是李金田和陈新起，一一九师师长是田温其，一四三师师长是李曾志，独立第二十七旅旅长是刘汝珍。

这样，孙的第二集团军就有了五个师和两个独立旅。

1940年春天，蒋介石曾打算叫孙连仲接替鹿钟麟任冀察战区总司令兼河北省**主席，带一部分队伍去河北省打游击。孙连仲接到蒋介石征求意见的电报后，曾和高级幕僚们研究。

当时有人主张接受这个职务，因为蒋介石是不会把正式的战区司令长官和后方的省**主席职位让给孙连仲的。河北省条件虽不好，总算独当一面。但也有人主张不接受，认为河北省不仅有日伪军，而且有八路军。

到那里以后，如果和八路军合作抗日，蒋必不答应；如果与八路军闹磨擦，恐怕很难站住脚，结果有可能连“老本”都保不住。孙连仲权衡利害，认为还是不去为好，就复电蒋介石表示推辞，大意是：

河北省情况复杂，自己才疏学浅，深恐完不成任务，有负委座重托、谨乞另选贤能。