劳崇光又指责晏端书等人，说他们到处征收厘金，喧宾夺主，什么事都不向他这个总督请示，不仅导致民怨沸腾，而且加剧了广东财政的困难。

劳崇光与曾国藩唱反调，清廷不得已，只好换马。新任命的两广总督是曾国藩的老朋友刘长佑。1859年，刘长佑率部在宝庆击败石达开后，入广西作战。1860年升任广西巡抚，是湘军集团中较早获得督抚实权的将领之一，比曾国藩还早。

在镇压太平天国的过程中，清廷刻意提拔并非曾国藩嫡系的刘长佑、刘坤一两人，有着很明显的牵制曾国藩的意味。刘长佑一直与曾国藩保持距离，但两人之间并没有矛盾，乡谊之情还在。清廷调刘长佑为两广总督，是在支持曾国藩。

清廷又任命曾国藩的好友黄赞汤为广东巡抚。黄赞汤曾经在江西大办捐输，为湘军筹集过许多军饷。这次，在广东厘金征收迟迟打不开局面的情况下，清廷把他调往广东，对他寄予了很高的期望。

之后不久，刘长佑调任直隶总督，两广总督由晏端书继任。这一时期，主持广东厘金征收的，主要是晏端书和黄赞汤。

封信给曾国藩。在这封信中，他虽然批评劳崇光目光短浅，不能体谅曾国藩，但又认为劳崇光对于广东财政情况的描述是符合实情的。黄赞汤还表示，在目前的情况下，广东不可能为湘军筹措大量军饷。接着，晏端书、黄赞汤又向曾国藩提出了一个四六分成共享广东厘金的方案。

种种迹象表明，晏端书、黄赞汤并不能很好地完成为湘军筹饷的任务。清廷只好继续换马，调湖南巡抚毛鸿宾前往广东，任两广总督。毛鸿宾是曾国藩的同年，和曾国藩、胡林翼等人的关系都非同一般，是曾国藩嫡系集团的重要成员。

毛鸿宾举荐曾国藩的好朋友郭嵩焘代理广东巡抚，获得朝廷通过。这样一来，广东督抚依旧都是曾国藩的好友。

郭嵩焘是个典型的书生，见识过人，但却不太会做事。他到广东后，不顾实际情况，试图对广东厘金的征收进行彻底的整顿，又大力倡导捐输。他的这种急躁做法，招致广东绅民普遍的抵制。郭嵩焘、毛鸿宾乃至整个湘军，都成了广东人咒骂的对象。

毛鸿宾一看势头不好，把责任都推到了郭嵩焘身上。郭嵩焘生性耿直，不太懂得官场的潜规则。面对毛鸿宾的诬陷，他奋起反击，将毛鸿宾贬得一文不值。他甚至对人说：“曾涤生以识人著称，向朝廷推荐不少人才，但就是看错了这个毛寄云。”

对于郭嵩焘这个人，曾国藩看得很准，所以他虽然采纳了郭嵩焘的许多重要建议，比如创建湘军水师，但一直反对郭嵩焘出来做事。当他得知郭嵩焘谩骂毛鸿宾后，很不高兴，对身边的幕僚说：“毛寄云也擅长识人，向朝廷推荐的人才也不少。只是看错了这个郭筠仙。”曾国藩的这句话流传很广，一时间，郭嵩焘成了官场的笑柄。

督抚不和，也就不可能筹集到大量军饷。清廷一而再，再而三地换马，但始终解决不了最根本的问题。复杂的利益链条已经将广东绅民紧紧地捆在了一起，外部人士想要打破这种平衡，无异于痴人说梦。

从1862年晏端书到达广东起，直到1864年湘军攻克江宁，前后将近两年时间，曾国藩从广东总共得到白银一百一十万两，每月大概四万七千两左右，离曾国藩预想的每月二十万差了很多。就是这点银子，曾国藩还必须分出一部分给左宗棠，真正进入曾国藩嫡系部队腰包的，也就七八十万两而已，这对于解决曾国藩嫡系部队日益严重的缺饷问题，实在是杯水车薪。

和安徽一样，江西也是湘军和太平军反复争夺的地方，经济非常凋敝。但是，为了筹集到足够的粮饷，曾国藩在明知江西已经不堪重负的情况下，依旧试图从江西获得更多的粮饷。这自然会引起江西官场上下的集体抵制。与江西争夺饷银，是曾国藩在整个镇压太平天国期间，最感到愤懑的事情之一。

和左宗棠在湖南、胡林翼在湖北一样，曾国藩在江西也进行了减漕改革。江西地丁漕折征收的额度本来就不高，各种耗羡、加征也比较少，与湖南、湖北的情况不一样。但曾国藩在进行减漕改革的时候，照搬湖北的模式，结果定的标准过高，不但没有减少漕折的征收，反而增加了。前面说到过，曾国藩在安徽的减漕也存在着同样的问题。这样一来，农民的积极性没法调动，改革也就不会有什么效果。

减漕改革虽然失败了，但在厘金的征收方面，曾国藩却取得了不小的进展。从1856年开始，曾国藩在江西征收厘金。

和湖北一样，江西的厘金也主要是盐厘。江西历来是淮盐的引地。当时，九洑洲被太平军占领，淮盐无法运往江西，造成了盐荒。于是，大量私盐进入江西。

与此同时，曾国藩为了获得稳定的军饷来源，奏请由湘军组织人员将浙盐运往江西销售，获得朝廷批准。为了保证浙盐的销售，曾国藩必须抵制私盐，最好的办法就是向那些私盐贩子收取重税。于是，曾国藩开始在江西设置厘卡，大量征收厘金。

1860年，曾国藩代理两江总督的时候与江西巡抚毓科商定，将江西的主要筹饷源地丁银、漕折银以及厘金一分为二，共同享用。地丁银、漕折银的一半归江西巡抚支配，充作全省行政费用。厘金、漕折银的另一半归曾国藩支配，充作军饷。为了节约军饷，江西本省不养军队。如果遭遇太平军攻击，由曾国藩负责驱逐。

需求也日益增大，曾国藩不得不突破当初的约定，向本属于江西巡抚支配的那一部分税收伸手。

江西巡抚毓科、江西布政使张集馨面对曾国藩日益凶狠的搜刮，被迫起来反抗。张集馨警告曾国藩说，江西每年都入不敷出，如果不提前想办法，就会耽误军需。他要求曾国藩裁撤部分湘军，以减少军饷的供给。他还在私下里指责曾国藩，说他不顾百姓承受能力，一味横征暴敛，是个十足的伪君子、假道学。

张集馨的上述言论使曾国藩意识到，必须通过朝廷罢免毓科、张集馨两人，换上自己的人，后方才能稳固。清廷答应了曾国藩的请求，罢免了毓科、张集馨，并任命曾国藩的亲信沈葆桢为江西巡抚，李桓为江西布政使。

曾国藩以为，换上了自己的人，江西的事就会好办起来。然而，就是沈葆桢、李桓这两个人，后来令曾国藩伤透了脑筋。

李桓的主要问题是渎职、贪污。他纵容手下敲诈勒索商人，商人被迫反击，闹卡之风盛行。部分商人因此停止了货物贩卖。于是，江西的厘金收入大为减少。曾国藩得知后，将李桓革退，又将负责厘金征收的机构大加整顿，在其中安插了更多的亲信成员，以防再出现渎职、贪污现象。厘金征收情况才逐渐有了起色。

相对于李桓来说，沈葆桢更加令曾国藩头疼。沈葆桢和左宗棠、李鸿章一样，心气比较高，离开曾国藩之后就想自立门户。

当时，曾国藩将主要的注意力放在了安徽、江苏两省，对于身后的江西，他很少顾及。太平军趁机袭扰江西，给江西带来了毁灭性的灾难。

沈葆桢非常不满曾国藩的作为，为了使江西不遭受更大的损失，他断然下令新招并扩充赣军。这显然违背了当初曾国藩与江西巡抚毓科达成的约定，是对曾国藩的直接挑战。

沈葆桢虽然不满曾国藩，对曾国藩的朋友左宗棠却很友好。当时，左宗棠率军进入浙江，阻挡了太平军进入江西的通道，是江西的一道天然屏障。左宗棠还多次率军进入江西剿杀太平军。曾国藩用着江西的饷银却不为江西办事，左宗棠不用江西的饷银却经常为江西办事，这种滑稽的局面使得沈葆桢终于迈出了背叛曾国藩而与左宗棠联合的第一步。