李鸿章办团练弄得自己上火，老师曾国藩这边也不是一帆风顺的。前面说到曾国藩对着土匪、会党下了狠手，使湖南境内风气得到了极大地扭转。和李鸿章的处境一样，曾国藩也遇到了官场上的“潜规则”。本来支持他的巡抚张亮基调任湖广总督，接任者骆秉章与曾国藩的关系不冷不热，而曾国藩与其他湖南官员之间总是存在着一种很微妙的关系。团练大臣这个介于官绅之间的身份，造成了这种剪不断理还乱的情况。团练大臣是朝廷任命的，但对于地方官员来说，不是钦差大臣，对地方上没有管理权，再说，搞团练的粮饷都是地方上出，这让本来就为钱发愁的官员们很是不痛快。曾国藩雷厉风行地建立“审案局”，越过湖南地方官员到处抓人、杀人，这更让他们感到不爽。
　　
　　咸丰三年六月，曾国藩连上两份奏折，《特参长沙协副将清德折》和《请将长沙协副将清德交刑部治罪片》，矛头直指长沙的绿营官员，这样湖南官场一片哗然。要粮饷罢了，乱抓人也罢了，这次竟然对着官员下手了，这不是越权吗？你曾国藩是不是管得太宽了？于是摩擦开始了。特别是绿营的人想办法找曾国藩的事儿，事儿还真让他们找到了。湘勇试枪误伤了绿营的人，绿营就准备和湘勇们群殴一下，曾国藩立即出面调停才没有发生群殴。
　　
　　事情并没有结束，不久，曾国藩大将塔齐布的手下和绿营士兵因为赌博发生纠纷，在绿营提督鲍起豹的怂恿下，绿营士兵围攻了曾国藩的公馆，打伤了士兵，曾国藩本人也差点儿受伤。在这样的水火不相容的状况下，曾国藩清楚这是要把自己的队伍赶出长沙城啊。曾国藩并不想和湖南的官员把关系搞僵，我惹不起还躲不起吗？八月，曾国藩上奏《移驻衡州折》，带着自己的湘勇驻扎到衡州。
　　
　　别看曾国藩这次离开长沙好像是迫不得已，但从后来的发展可以看出，这个决定是正确的，他可以排除干扰，一心练兵了。说到这里，我们必须谈谈湘军组建的来龙去脉。首先，曾国藩要选好的将领，条件是不怕死、能吃苦、有能力、不急功、少说话。在这样的标准下，塔齐布、唐训方、彭玉麟等得力干将被他招入麾下。再次就是选好的士兵，曾国藩的思路是通过血缘、地缘组织一支以亲情、友情为纽带的部队。挑士兵就简单了，不用他亲力亲为，只要是一级一级从上往下选就是了，营官选哨弁、哨弁选什长、什长选丁勇，而且谁选人谁负责，这样就形成了一级向一级负责、下级对上级的绝对服从，这为日后湘军保证了战斗力的稳定。在编制上，曾国藩仿效戚继光，以营为最基本的作战单位，每营500人，分前后左右4哨，每哨又分为8队。有劈山炮、抬枪、小枪、刀矛诸队，每队正勇12人，另有亲兵6队，共38队，每营还配备了180个长夫。这是陆军，曾国藩还建立了水师，也是仿效陆军而来，分舱长、炮手、头工等。
　　
　　在部队建制完成后，下一项工作就是训练，这可是练兵的关键。不光是要训练湘勇的身体素质，还要训练阵法和命令的执行力。为此，曾国藩对训练抓得很紧，安排好具体每天的训练项目，自己每月都要亲自到场监督训练，防止训练流于形式。为了加强部队的“思想工作”，每逢三、八日，他都要对全体士兵进行训话，将自己的思想传达给士兵，让他们建立正确的人生观。
　　
　　除了这些，还有一个很关键的问题，那就是“薪水”的问题。打仗可不是闹着玩的，动辄会丢了性命，不管调子说得多高，感情多深厚，没有钱说什么都是白搭。曾国藩也看到了这一点，他提出了“高薪养兵”的办法，各级士兵、军官的月饷都比绿营军高很多，甚至高出数倍。出操有“补助”、出外打仗有“津贴”，这可算是把部队的积极性给调动起来了，人们争相参加湘军。不过军饷的增多成了一直困扰曾国藩的大问题，让他费尽心血、挨遍白眼。
　　
　　但无论如何，湘军还是很快地建立起来了，到了咸丰四年（1854年）正月，湘军正式成立，陆师5000人、水师5000人，再加上其他后勤人员，湘军全军共一万七千人，闻名遐迩的湘军出现在了历史舞台上。