长沙失守后，日本第11军顺势南下，朝湖南省当时的第二大城市衡阳进发。衡阳位于湖南省中南部，粤汉线、湘桂线在此连接，从湖南腹地通往西南大后方的多条公路也从这里经过，是西南交通的枢纽。此外，它还是湘江、蒸水和末水的交汇之处，依靠这些江河，可以转运湖南出产的大量粮食、矿产等资源。因此，衡阳一旦失守，无论在交通、军事，还是经济上都将带来巨大的灾难性后果。就因为这一系列的原因，衡阳自然成为日军“一号作战”的重要目标。
　　
　　日军大本营在“一号作战”第二阶段的构想中，计划对湘江以西地区采取守势，而主力投放在湘江以东。衡阳是作为重要目标必须予以攻占的，并且要确保这一地区的安全畅通。第11军横山勇中将认为，同中国军队的决战不一定会在长沙出现，但在进攻衡阳时，必然会出现双方主力对决，如果是这样的话，就可以在衡阳地区围歼第九战区主力。
　　
　　鉴于这样的思考，横山勇中将在具体兵力分配上，以1个师团用于湘江以西，用2个师团进攻衡阳，再以4个师团的兵力用于湘东山地。从兵力分布来看，横山勇还是有战术头脑的，把兵力分布得轻重得当，非常符合当时的实际情况。
　　
　　第11军的日军高级将领们在研究攻击衡阳的战术问题时，又把薛岳的“天炉战法”提到桌面上。他们认为，中国军队当前没有对付大日本皇军的好战法，前段时间在长沙大战中，把“天炉战法”给粉碎了。但是从衡阳的地理方位，以及当前中国军队所处的位置上看，他们极有可能还会采取“天炉战法”的老一套。横山勇同意幕僚们的分析，所以他仍采取两翼夹击，波浪式推进的方法，确保第68师团和116师团对衡阳的进攻。
　　
　　国民党军令部的确没有新战术，仍然按照“天炉战法”的老路子进行部署，中间正面堵截，两翼兵团夹击，从而击退来犯日军。从整个衡阳保卫战来看，最主要的有两块，一是国民党第10军坚守衡阳，二是李玉堂兵团在西南、西北外围，实施救援衡阳的战役。
　　
　　为了进一步了解、认识下一步的湘西保卫战，或者说同下步湘西保卫战紧密联系，笔者这里不详细叙述李玉堂兵团的外围解救战，集中篇幅谈衡阳保卫战。因为进攻衡阳的两个日军师团，也是后来进攻湘西，欲夺芷江机场的两个主力师团。另外，在衡阳保卫战期间，也是蒋介石同美国关系发生矛盾，处在极为痛苦和犯难的一段时日。
　　
　　日本对衡阳的作战，是于1944年6月20日开始的。日军第11军为确保衡阳进攻的顺利，一开始就对衡阳的周边实施强有力的攻击，以此来打破“天炉战法”中最为关键的两翼部队。日军第11军不愧为日本的第一野战军，他们不几日便把衡阳周边的国民党军队击溃，迫使国民党军的主力后退，把衡阳变成一座孤城。
　　
　　守卫衡阳的是国民党第10军，军长是方先觉，安徽萧县人，黄埔军校第三期毕业。在抗日战争中，中将军长方先觉是国民党军最为传奇的人物之一。他坚守衡阳47天，创下抗日战争时期中国军队坚守时间最长的一次守城战。在守城战役中，他率领17?000名士兵，抵挡日军前后6个师团的进攻，在自己部队战死10?000人的基础上，杀伤日军48?000人。为保护衡阳城7?000多伤兵的生命，他最终放下武器，向日军缴械投降。不久逃出衡阳，回到重庆，被蒋介石誉为“中国军人之模范”，并授予青天白日勋章，还晋升为28集团军副总司令。后来他在台湾去世，在史学界，还引发出一场关于他投降日军行为的学术争论。从以上简约的情况看，方先觉中将的确很有传奇色彩。
　　
　　英勇善战的方先觉，在1941年的第三次长沙会战和后来的常德会战中，率领自己的预备第10师和第10军，表现得非常杰出，一时名声大噪。成为抗日英雄的方先觉，自然有些志得意满起来，甚至连战区司令长官薛岳也不放在眼里，有些命令执行起来也就阳奉阴违了。特别是在常德会战中，他对薛岳的越级指挥，抽调他的190师，使第10军侧翼暴露，很是不满，因此发生争执。从此两人结下过节。
　　
　　薛岳也感到很伤脑筋，于是便开始指派自己的亲信去第10军任职，以此来控制方先觉。谁知方先觉也不是盏省油的灯，对薛岳指派的人，常常借故撤职，甚至寻机法办处决。这样一来两人矛盾激化，最终还是薛岳占了上风，他毕竟是战区司令长官，说服军令部免去方先觉军长一职，调任军事委员会高级参议。
　　
　　方先觉还没有动身，新任命的军长也没有到达。日军便开始了“一号作战”的湘桂战役，兵锋直指衡阳。参谋总长何应钦亲自过问此事，新军长没有到任，而战事已迫在眉睫，真要临阵换将，确实于军不利。他责令薛岳上门请方军长出山。
　　
　　薛岳只好厚着脸面任命方先觉为第10军军长，负责指挥衡阳保卫战。方先觉怎么会买这个账呢？你算什么东西！老子现在是委座任命的高级参议！他拒不接受薛岳的任命。两人的过节传到蒋介石那里，蒋介石很气愤，党国利益就毁在他们这些争权夺利人的手里。于是，委员长亲自给方先觉打来电话，大骂方先觉昏庸，日军已经逼近衡阳，你居然还在和战区长官怄气，置民族大义于不顾，成何体统？
　　
　　方先觉听见蒋校长的训斥，自己倒是消了气，他知道校长也会骂薛岳的。于是他表现出军人的大度，当即表示一定积极部署固守衡阳，发扬第10军优良传统，坚决抗击日军来犯。蒋介石在电话上要求方先觉守住衡阳，确保衡阳十天或者半月，整个形势就会发生变化。他在重庆听候他的佳音，祝他旗开得胜！
　　
　　方先觉受到蒋委员长的鼓励，信心倍增，立马奔赴衡阳，部署防守任务。
　　
　　国民党军第10军，下辖第3师、第190师和预备第10师，还有驻扎衡阳城里的第54师师部和它的第1团。为加强衡阳守备力量，第九战区将第74军野炮营、第48师的一个山炮连划归第10军。这样第10军名义上有4个师的番号，实际是8个团，总兵员17?000人。
　　
　　特别要说明的是，经过常德会战，第10军没有得到休整补充。比如说第190师为后调师，所谓后调师是指将兵员全部转拨给友邻部队，仅保留班长以上各级军事干部，随后调后方接收训练新兵。但这个后调师没有走成，日军已逼近衡阳，他们就留下来参加衡阳保卫战了。
　　
　　方先觉于5月底来到衡阳，他首先带领师长、团长和参谋长们侦察衡阳地形，确定防御部署。衡阳防区面积仅有3.9平方公里，东西宽约1.5公里，南北长约2.6公里。
　　
　　第190师位于城东，每营配属一个野炮连，进驻末水西岸。作为最前哨阵地，师主力于五马归槽、橡皮塘、莲花塘一线构筑主阵地。
　　
　　预备第10师位于城西，师主力于汽车西站、虎形巢、张家山、江西会馆一线构筑主阵地。在汽车西站侧翼是第3师的第7团和第9团。
　　
　　第54师的一个团位于城东北，主力在冯家冲沿末水西岸构筑主阵地。炮兵在雁峰寺、县政府、蒸阳路、吉祥街一带占领阵地。第10军军部设在银行大院，前进指挥所在五桂岭的预备第10师阵地上。
　　
　　防守部队的部署一定，立即开始构筑工事。衡阳原先已经构筑有钢筋混凝土的国防工事，相当坚固。然而第10军同日军作战多年，特别擅长防御，从将领到士兵，一眼就能看出这些防御工事的弊病，发现存在不少问题。一是防御工事系统庞大，现在的一万多士兵用不完，显得空，有的地方根本就用不上；二是射孔较大，隐蔽性差，这对守军极为不利；三是这些工事各自独立，难以相互照应。
　　
　　方先觉下令对所有工事进行改进和加强，放弃若干外围工事，以缩小正面防御，对放弃的工事一律破坏。城东、城北依托湘江和蒸水设防，城西北沼泽水田全部放满水，在其要道上构筑碉堡、地堡。城西南丘陵地带，构筑无数道防御线。各据点之间均以交通壕相连。最有创意的是，丘陵对敌的一面，全部削成断崖，让敌人无法攀爬，并在断崖顶上构筑手榴弹投掷的壕沟。在丘陵之间的凹地，构建外壕沟，用粗大圆木建两到三层栅栏。断崖与外壕之间布设铁丝网。无法挖出断崖的丘陵，全都挖设5米深宽的壕沟，在沟底筑有地堡，以防日军利用。全城所有阵地都有交通壕相互连接。在城西北比较开阔平坦的地区，布有地雷区和多层铁丝网，开挖四道战壕。