在接下來的一段時間内，日軍由于在察哈爾一戰中慘敗，損失慘重。華北日軍受兵力所限，暫時無力在對察哈爾，綏遠等地發動大規模的反攻，華北局勢暫時平穩了下來。
趁着這個難得的機會，八路軍加緊擴充兵力，進一步加強了對新收複的察哈爾等地的控制。而八路軍第七縱隊，也按照上級的指示，趁着這個機會，整編備戰。
1940年5月，華中日軍第11軍，在司令官園部和一郎的指揮下，對我棗陽，宜昌等地發動大舉進攻，棗宜會戰爆發。
日軍大舉進攻我襄河防線，當時中國軍隊的第33集團軍隻有張自忠兩個團駐守襄河西岸。張自忠作為集團軍總司令，本來可以不必親自率領部隊出擊作戰，但他不顧部下的再三勸阻，堅持由副總司令留守，5月6日晚緻書副總司令兼77軍軍長馮治安一函：
“仰之吾弟如晤：因為戰區全面戰争之關系，及本身之責任，均須過河與敵一拼，現已決定于今晚往襄河東岸進發，到河東後，如能與38師，179師取得聯絡，即率兩部與馬師不顧一切，向北進之敵死拼。若與179師，38師取不上聯絡，即帶馬師之三個團，奔着我們最終之目标（死）往北邁進。無論作好作壞，一定求良心得到安慰，以後公私均得請我弟負責。由現在起，以後或暫别，永離，不得而知，專此布達。”
張自忠親筆昭告各部隊、各将領：“國家到了如此地步，除我等為其死，毫無其他辦法。更相信，隻要我等能本此決心，我們國家及我五千年曆史之民族，決不至亡于區區三島倭奴之手。為國家民族死之決心，海不清，石不爛，決不半點改變。”
張自忠率2000多人東渡襄河後，一路奮勇進攻，将日軍第13師攔腰斬斷。日軍随後以優勢兵力對張自忠所部實施包圍夾攻。張自忠毫不畏縮，指揮部隊向人數比他們多出一倍半的敵人沖殺10多次。日軍傷亡慘重。
在日軍集結重兵南下時，我方主力本應暫時規避，尋機集中力量分别圍殲來犯之敵。但是，當時的中國統帥部被日方的假情報迷惑，錯誤判斷形勢，下令第五戰區部隊同時圍殲南北兩路日軍。
雖然張自忠在河東的部隊隻有五個師二萬餘人，兵力僅及對方一半，但軍人以服從命令為天職，他立即根據自身情況調整部署。然而不幸的是，張自忠的電報密碼被日軍截獲破譯，他的軍事部署已完全被敵方掌握。日軍當即調集兩個師團另加四個大隊奔襲而來。14日，雙方發生遭遇戰。
15日，張自忠率領的1500餘人被近6000名日寇包圍在南瓜店以北的溝沿裡村。當日上午，日軍發動進攻。敵我力量極其懸殊，戰鬥異常慘烈。至下午三時，張自忠身邊士兵已大部陣亡，他本人也被炮彈炸傷右腿。此時，他已撤至杏仁山，與剩下的十幾名衛士奮勇抵抗，竟将蜂擁而至的日軍阻于山下達兩個多小時。
激戰到16日佛曉，張自忠被迫率部退入南瓜店十裡長山。日軍在飛機大炮的掩護下，向中國軍隊的陣地發起猛攻。一晝夜發動9次沖鋒。張自忠所部傷亡人員急劇上升，戰況空前激烈。
到下午2時，張自忠手下隻剩下數百官兵，他将自己的衛隊悉數調去前方增援，身邊隻剩下高級參謀張敬和副官馬孝堂等8人。
不久，大群日兵已沖到面前。根據日方資料，日軍第四隊一等兵藤岡是第一個沖到近前的。突然，從皿泊中站起來一個身材高大的軍官，他那威嚴的目光竟然使藤岡立即止步，驚愕地愣在那裡。沖在後面的第三中隊長堂野随即開槍，子彈打中了那軍官的頭部，但他仍然沒有倒下！清醒過來的藤岡端起刺刀，拚盡全身力氣猛然刺去，那軍官的高大身軀終于轟然倒地。這時是1940年5月16日下午4時。
張自忠戰死後，日本人發現張将軍遺體，審認無訛，一起膜拜，用上好木盛殓，并豎木牌。并全軍向他行禮，甚至在他的遺體運回後方之時，日軍收到消息便下令停止空軍的空襲一日，避免傷到張自忠的忠骸。可見，張自忠将軍在對日抗戰所展現軍人武德，連當時崇尚軍國主義的日軍都為之感動。
當天深夜，日軍設在漢口的廣播電台中斷正常廣播，插播了張自忠陣亡的消息，并稱：“我皇軍第三十九師團官兵在荒涼的戰場上，對壯烈戰死的絕代勇将，奉上了最虔誠的崇敬的默禱，并将遺骸莊重收殓入棺，拟用專機運送漢口。”
日軍對張自忠将軍表現了極大的崇敬，由軍醫用酒精仔細清洗遺體，并包紮好傷口，鄭重裝殓，放進趕制的棺材裡。此棺被葬于一處山坡上，并立墓碑，上書：“支那大将張自忠之墓”。
老蔣驚聞張自忠殉國，立即下令第5戰區不惜任何代價奪回張自忠遺骸。一百多名優秀将士，搶回張将軍的屍骨，經檢視，張自忠身有八處傷口，其中炮彈傷二處，刺刀傷一處，槍彈傷五處。當靈柩經過宜昌時，全市下半旗，民衆前往吊祭者超過十萬人。全城籠罩在悲壯肅穆的氣氛中。敵機在上空盤旋吼叫，卻無一人躲避，無一人逃散。
1940年5月28日晨，當靈柩運至重慶朝天門碼頭，蔣、馮等政府軍政要員臂綴黑紗，肅立碼頭迎靈，并登輪繞棺緻哀。蔣在船上“撫棺大恸”，令在場者無不動容。
蔣親自扶靈執绋，再拾級而上，護送靈柩穿越重慶全城。國民政府發布國葬令，頒發“榮字第一号”榮哀狀。将張自忠牌位入祀忠烈祠，并列首位。28日下午，蔣與軍政要員和各界群衆在儲奇門為張自忠舉行了盛大隆重的祭奠儀式。
張自忠将軍英勇抗敵，忠貞不屈，是偉大的民族英雄，其忠義之志，壯烈之氣，直可以為中國抗戰軍人之魂，英魂永存不朽。
張自忠雖死，但他活在中國人民心中，且将永遠銘刻在中國人民心中，流芳百世……