湘军一直没有让晚清政府安心，眼见太平天国在1864年铁定失败之后，晚清政府就着手解决湘军了。6月10日河南巡抚张之万开炮，建议开始裁撤湘军，6月16日南京被攻陷，不到一个月，冯子材等湘军、贵州兵勇、水师粤勇等纷纷被裁撤。曾国藩作为湘淮军的名义统帅，自然首当其冲。
　　
　　因此，在7月份曾氏便主动裁撤三四万人，又让曾国荃以养病为由回家。到了1865年，湘军由之前的13万多人迅速被裁撤一半多，楚军也被裁撤到了4万多人，淮军也被裁撤到了5万多人。而这时，捻军却突然间兴盛起来，致使晚清政府不得不重新起用湘军。
　　
　　早在1864年3月，晚清政府就要求李鸿章代替曾国藩为两江总督，迅速平灭湖北安徽地区的太平军和捻军。17日李鸿章赶到南京决定将淮军分三部分共同作战：刘铭传部北上，一部南下福建追剿太平军，一部留在江苏防守。
　　
　　但因为僧格林沁率领蒙古兵对阵捻军，晚清政府对他非常信任，所以对于湘淮军北上并没有太在意。哪知，1865年僧格林沁被杀，晚清政府连忙要求曾国藩督办直隶、山东、河南三省军务。
　　
　　此事极为让曾国藩苦恼，因为湘军大部被裁撤，只有依靠李鸿章的淮军。然而，淮军只听李鸿章的，所以他对能否调动淮军非常没有信心。在他与李鸿章的谋划下，李鸿章调拨刘铭传归属曾国藩调遣，潘鼎新部前往天津，调郭松林、杨鼎勋部回防。