日军自1937年12月12日攻占南京后，企图打通津浦铁路，南北兵力互相配合，并期望占领陇海铁路东段，配合沿江的日军包围武汉，因此攻击重点指向战略要地徐州。1938年初，日军沿津浦路和胶济路继续向南推进，兵分两路向徐州挺进。其中日军第10师团已经于1937年12月月底顺利占领山东省省会济南，接着又于1938年1月初相继占领蒙阴、厉山，第5师团又于1月中旬进占青岛。这些不利情况严重影响了国 军第5战区的军事部署。
1938年2月初，津浦铁路南段的日军突破淮河；北段日军由于山东省主 席韩复榘的十万大军不战而退，致使日军长驱直入，抢占了大半个山东，占领了济南、泰安、兖州、邹县、济宁、青岛、蒙城等地，直逼滕县、临沂。滕县、临沂是徐州的两个北大门，尤其是滕县，南距徐州一百多公里，扼守津沪铁路的咽喉，自古就是兵家必争之地，如今更成为双方争夺的战略要点。
日军攻占济南以后，企图沿津浦线南北夹击，会攻徐州。为阻止日军的图谋，国 军在以徐州为中心的津浦路南北的广阔地域上，同日军展开了一场大规模的会战。
关于滕县的地名由来，据《史记》、《国语》和明、清、民国年间的滕县志记载：“黄帝有二十四子，赐土得姓者十四。其第十子封于滕”。当时滕地温湿多雨，泉流腾涌，所以用“滕”字作为地名。滕州在古代是“三国五邑之地、文化昌明之邦”，考古资料表明这里是中华民族最早的文明发源地之一。滕州是亚圣墨子、工匠祖师鲁班、造车鼻祖奚仲的故乡，又是历史名人孟尝君、毛遂的出生地。此外，贞观年间，唐太宗李世民的弟弟李元婴曾被封于山东滕州，所以称为滕王，且于滕州筑一阁楼名以“滕王阁”，后滕王李元婴调任江南洪州，因思念故地滕州修筑了“滕王阁”。
1938年3月，为了阻击日军的攻势，国 军第21集团军总部调第122师驻守在界河与滕县之间和滕县的东北地区。集团军总部任命第122师师长王铭章为第41军前方总指挥。3月14日清晨，日军纠集上万兵力向第45军阵地全线发起进攻，激战整整一天没有打下，日军伤亡非常大，于是企图迂回攻击战略要地滕县县城。
3月15日下午5点，日军先头部队到达滕县东北的冯河、龙阳店一带。此时滕县城内没有战斗部队，师长王铭章命令第122师第364旅第727团从北沙河阵地抽出一个营，由团长张宣武亲自率领跑步赶回滕县防守。此时，翟绍先是727团第二营第一连连长，也跟随着张宣武赶回滕县布防。
3月16日天刚亮，日军矶谷廉介师团主力对界河中国守军第45军主阵地发起全线进攻。同时，东关外日军一个大队向东关的警戒部队发起进攻。上午8点钟，日军十多门山炮在城东高地向东关、西关、车站一带猛轰，并且有12架日军飞机在上空轰炸、扫射。日军集中炮火猛攻东关土寨东南角，炮弹将土寨墙炸塌一二十米，又以重机枪向塌口进行持续射击，掩护步兵攻击前进。坚守在东关土寨墙的第一连埋伏在土寨墙后面等待日军进入。当日军火力一停，约有五六十个日本兵跳下塌口的壕沟时，埋伏的守军士兵听到“给我打！”的一声号令，接着有几十颗手榴弹一齐摔出，日军刚刚跳进壕沟就遭到手榴弹的袭击，当场有三十多人被炸死，残余的日军仓皇逃回。
日军看到进攻受阻，又用猛烈炮火向塌口轰击，连长翟绍先让官兵埋伏在塌口两侧，当又有五六十人爬上塌口时，第一连机枪和手榴弹齐下，当场又打死日军40多人，随即全连又冲入日军阵中，与日军展开近身格斗，日军看到对手厉害，不得不退出塌口。
进过连续三次的冲杀，日军已经死伤一百多人，第一营也有一百多人牺牲。到了下午五点钟，日军发动第四次争夺塌口的进攻，这时候日军的大炮已经增加到三十多门，其中野炮占一半以上。这里说的“大炮”包括山炮与野炮，山炮与野炮虽然都是火炮，但是它们的功能和作用是不同的。山炮相对野炮虽然威力小，射程近，但是它比较轻便，更加适应在野 战中攻击敌人的集群兵力；而野炮则凭着它的远射程大 威力，用以摧毁敌方的防御工事。现在日军加强了野炮的力量，就是企图摧毁国 军的防御工事。
为了给中国 军队以更大的打击，日军还增强了空中火力，日军每次轰炸的飞机都在10架以上，对东关及其滕县外围阵地进行轮番轰炸。日军在东关久攻不下，又将攻击重点转向东城门。日军的大炮向东关和城内进行拦截射击，阻止守军部队彼此增援。
每一次大炮轰炸过后，日军每次以三个小队为基本单位，每个小队相距约100米，前后重叠，形成波浪式进攻阵型。其先头部队冲锋时被守军机枪扫死，但后面叠冲上来的日军也窜到了东城门附近，守卫东城门附近的一个连全部战死，日军继续向城内突击。情况危急，营长严翊调预备队前去增援，预备队在东城门与日军遭遇，双方展开激烈肉搏。东城门的砖墙上被飞溅的鲜血染红，被大刀砍死的日军五六十人，守卫东城门的第二连也有一百多人牺牲，仅剩10余人还在阵地上坚守。就在此时，日军第三波冲击又到，团长张宣武紧急调翟绍先第一连等部赶去堵截，但日军行动迅速。虽然翟绍先等人击退了大部分日军，但仍然有40多名日本兵突入到了城内。此时天已经黑了下来，日军并没有增援，双方相隔几十步对峙。张宣武团长下令借此机会歼灭突入城中的日军，于是抽调守城的一个连协同作战。攻击命令一下，一阵手榴弹投掷之后，官兵们抡起大刀冲入敌群猛劈猛砍，这40多个日军被全部砍死在城墙边。此战，参战的一个连阵亡两个排长、伤亡士兵70多人，严营长大腿受重伤。
3月16日傍晚，为了集中力量守城，师长王铭章决心放弃滕县外围阵地，把第41军所属部队撤回两个团集中守城。两个团到达城内后，立即修补工事，挖防空洞，补充弹药。当天晚上，日军师团长矶谷廉介调集第10师团和配属部队3万多人从外围将滕县东、南、北三面包围。
3月17日早上6点钟，日军以五60门山炮和野炮对县城进行狂轰滥炸，同时用30多架飞机对县城进行轰炸和扫射，滕县城内外爆炸声震天撼地，房屋被炸塌，城内一片火海。两个小时后，日军步兵又开始向东关进攻，用猛烈火力打破东寨墙突破口，又用10多辆坦克掩护步兵冲锋，同时用猛烈炮火轰炸东城门。
防守东关的国 军第124师第740团顽强抵抗，与日军进行一次又一次的肉搏，死伤惨重，日军也被大量打死。日军在进攻东关的同时，又用一股兵力攻击第727团第二营翟绍先部守卫的东南城角。日军用凿击式炮击轰炸城墙，每一发炮弹都朝着一个点打，像凿子一样一点点将城墙打塌。日军大炮连续打了一百多发后，东南城墙被轰塌一段，日军趁机冲进来七八辆坦克和100多名步兵。第二营第二连敢死队立刻抱着手榴弹炸毁日军坦克2辆，打死打伤步兵五六十人，但该连也全部英勇牺牲。日军冲上城角四五十人。二营长王承裕看到日军就要冲进场内，情况万分紧急，命令翟绍先的第一连进行反攻，在仅有的2挺机枪的掩护下，翟绍先率领全连150多号弟兄向日军杀去，一阵手榴弹投掷之后，第一连的弟兄纷纷抡起大刀冲入敌群猛砍，突入城角的日军四五十人被全部砍死。但第一连这150多名弟兄，包括连长翟绍先在内，仅有14人生还。二连长张荃馨、副连长贺吉仓等一百三十多人为国捐躯。
战斗到下午两点，日军突然用榴弹重炮12门猛攻滕县南城墙正面，这种榴弹重炮就是“明治四十五式240毫米榴弹炮”。在20世纪初，世界依然是大炮巨舰的天下，海权论是主流的军事思想，在这样的情况下，日本一方面从欧美购买重炮防守海岸，另一方面也开始积极地研发重炮。日俄战争中，日军的重炮和大口径迫击炮为日军的胜利起到了重要作用，这次胜利让日军更加坚定了重炮在未来战争中的作用。1912年，日本成功研制了240毫米口径榴弹炮并装配部队，因为是日本明治四十五年研制成功的，所以这种火炮被命名为“明治四十五年式240毫米榴弹炮”。这种火炮采用240毫米口径，身管长3.89米，全重38吨，正面带有一面巨大的护盾。和当时的岸防炮一样，该炮组装状态下并不能机动，射击灵活性也比较差，采用一个9人制炮组，射击时炮兵需要先将炮管放平，然后装弹手将弹头搬到炮尾的小推车上，再依次将弹头、发射药包和引信装入，再调整火炮角度进行发射。该炮可以发射爆破弹和化学弹，炮弹初速度387米每秒，最大射程约10公里。
开始这些重炮都被用于日本的海岸防御，1931年，有两门“明治四十五年式240毫米榴弹炮”被秘密运送到神户，并从那里转运到旅顺，最终在位于沈阳的关东军司令部架设完毕，并在“九一八事变”中投入到炮击北大营的战斗中。面对如此重炮加上精心准备，北大营的士兵们被打了个措手不及。
在中国战场上，这些重炮一般都用于炮击重要的城市等目标，对我国 军民造成了重大的损失。
却说战斗到下午两点，日军突然用12门“明治四十五式240毫米榴弹炮”猛攻滕县南城墙正面，又用二三十架飞机轰炸南关的第743团的两个连阵地。这两个连由于昨夜才赶来增援，工事简单，在日军轰炸下已经伤亡殆尽。南城墙被日军重炮轰击了一个多小时，几乎被夷为平地，守卫南城墙的第740团一个营，在日军的重炮轰击下也全部英勇牺牲。日军五六百人在10多辆坦克的掩护下扑向南城墙。下午三点半钟，南城墙被日军攻占。在场督战的旅长旅康、副旅长汪朝廉身受重伤。第134师第740团团长王麟、团训政员胡清溪阵亡。下午五点钟，日军攻入南、西两城墙，并集中火力向城中心的十字街扫射。
师长王铭章率领参谋和随从人员由西北城角登上城墙，继续与日军周旋，并命令仅剩的一个排向城西楼反扑。这个排刚刚冲到一半，就被日军机枪全部打倒，无一人生还。西城楼的日军继续向北压迫，在日军密集的机枪扫射下，王铭章师长和随从都被机枪扫中，当场壮烈牺牲。
此时，坚守东关和城内的官兵弹尽援绝，东城墙和东城等处已经被日军占领，仅剩下了东北城角和北城墙。第727团团长张宣武左腿和双脚中弹受伤，第364旅旅长王志远臀部负伤，城内陷入混战状态，已经无人指挥作战。天黑之后，趁日军还未对全城进行合围，翟绍先率领残存部队扒开北城门，突围出了滕县城。当天夜里，日军大部队进入滕县城中，滕县陷落，惨烈的滕县保卫战自此结束。
