1833年正月，来到北京参加会试的左宗棠，前去拜访了父亲的好朋友胡达源。早年，胡达源和父亲都就读于岳麓书院，父亲临终前就经常提到这位好朋友。因此，左宗棠一到北京就前去拜访了这位世伯。
　　
　　家人将左宗棠让进客厅，胡达源非常高兴，便命人将自己的儿子胡林翼请了出来。“你们年轻人多亲近些，我和你父亲就是好朋友，希望你们日后也能成为好朋友。”
　　
　　还真是奇怪，左宗棠这个人经常爱和人抬杠，但和这个长他四个月的兄长却不知为何，竟然没有任何摩擦。按理说，二人都是年轻人，互相不服才常见，二人却你一言我一语说得昏天暗地，先说东边日出西边雨，后说大树旗杆与蓝天，再说国家大政与方针，最后说到为政外交，白天说不够，那就晚上谈。
　　
　　入夜，二人坐在床上你一言我一语，互相交谈经世致用之学。胡林翼因为身在北京消息灵通，便对他说起了官场的一些事情。年轻人热情高涨，一个劲儿地讥讽时政，批评朝中官员。下手们在旁听了，全都想笑但又不敢。
　　
　　这时，胡达源走了进来，笑道：“看你们说的，林翼呀，你也不嫌害臊，人家宗棠都是举人了，你连个举人还不是。”“爹，甭说举人，就是进士我都是如探囊取物一般，呵呵。”“世伯，大哥的才学绝对没问题呀。”
　　
　　左宗棠和胡林翼的初次相见，使二人成了生死至交。1836年胡林翼中了进士，两江总督陶澍见他是个人才便将女儿许配给了他。与此同时，胡林翼也成了林则徐的好朋友。1838年左宗棠第三次入京考试再次与胡林翼相逢，经过长时间的交流，胡林翼认定左宗棠是自己一生一世的真朋友。
　　
　　胡林翼和左宗棠之间的关系集合了世交、同学（同为贺熙龄的学生）、朋友、姻亲、精神同盟者五种关系。胡林翼对于左宗棠尊敬有加，特别是左宗棠成了他的长辈之后，经常以长辈相称，但左宗棠却严厉禁止儿女以平辈对待胡林翼，必须称其为先生。
　　
　　左家与胡家也是姻亲关系。1856年胡林翼的妹妹胡同芝嫁给了左宗棠的二哥左宗植的长子，胡林翼称呼左宗棠为“丈”并不过分，但从朋友关系上讲，左宗棠一直称呼其为“兄”也属正常。
　　
　　胡林翼不但在仕途上给左宗棠以帮助，在生活上也屡次接济左宗棠，更在为官之道上提点左宗棠。然而，由于两人出身、经历和性格等方面的不同，左宗棠并没有成为胡林翼希望成为的人。但也许正是因为这一点，在胡林翼眼中的左宗棠才是一位勇于开创、敢为天下先的人。正是这些原因，胡林翼才尽力拉拢左宗棠成为铁三角中的一级，更将其推上了核心的地位。
　　
　　在左宗棠成为幕府师爷的那段日子里，湘军其实已经形成了铁三角。左宗棠作为湘军的大后方，负责粮草的运筹、兵源的供给、坐镇湖南大本营，居后左右相助，两翼分别是胡林翼在湖北、曾国藩在江西。随着樊左互控之后，左宗棠脱离幕府，帮助曾国藩筹建湘军之日起，胡林翼便在其后筹划左宗棠势力的发展。
　　
　　铁三角之所以诞生，其第一功劳就是胡林翼。左宗棠在1860年2月因为樊左互控准备前往北京参加会考，半路被胡林翼派人拦截，将其送到曾国藩的驻地宿松军营。5月胡林翼也赶来。湘军诸统帅首次聚首，探讨湘军未来发展。此时的湘军分为四大势力：曾国藩的湘军、罗泽南（1807-1856）学生王鑫等人的老湘军、胡林翼的鄂军、湖南留守部队。当时左宗棠还没有自己的嫡系部队。
　　
　　从广泛意义上说，江忠源（1812-1854）的楚勇、老湘军以及左宗棠日后创立的嫡系部队楚军，都可以被称为湘军。楚勇被视做湘军的雏形，老湘军则是罗泽南战死后，其学生部分跟随曾国藩，部分则脱离曾国藩自成系统，王鑫、刘松山等人的队伍便自称老湘军。
　　
　　左宗棠在湘军的地位皆靠幕府时期运筹粮草、动员兵源、整理后方等建立起来的。左宗棠的任务虽重要但不受重视，尽管人人都知道兵马未动粮草先行、打仗要饱着肚子打等，但到了评功劳的时候，负责粮草的人又往往是最不受重视的人。再者，粮草、兵源等费力费时，前方战事千变万化，一不留神就会得罪人。
　　
　　为此，无论是老湘军还是湘军，其间对左宗棠敬佩的有之，不屑乃至嫉恨的也有之。老湘军的统帅多是罗泽南的学生，而罗泽南又是左宗棠的同学兼好友，因此，罗泽南的学生战死后，老湘军基本上追随了曾国藩或左宗棠。在当时的各种势力中，唯一能与曾国藩平起平坐者也只有胡林翼。胡林翼的到来，既是湘军两大统帅的相聚，又是左宗棠崛起的先决条件。
　　
　　史家及后世许多人都评论，在此期间，湘军甚至讨论过是否待平灭太平军后再行灭清。左宗棠的曾孙左景伊先生曾以“季公得林翼与涤丈左右辅翼，必成大功，独入川则非所宜也”这句话，认为胡林翼和左宗棠有造反之心。
　　
　　其理由在于：曾国藩作为总督、胡林翼作为巡抚去辅佐一位四品候补官员，可见胡林翼认为他们三人中左宗棠可堪大任。
　　
　　然而，曾国藩却对清廷比较忠心，致使胡林翼的计划没有成功。事后，胡林翼写信给左宗棠，请他待剿灭太平军后保护曾国藩。原因在于曾国藩威望太高，日后恐有不测。与此同时，他又写信给曾国藩，说左宗棠为人虽然脾气不好，但这个人对朋友忠心，若有重要事情可以托他办。
　　
　　从前后的事件看，胡林翼确属湘军第一战略家，他谋局甚远，对于日后太平军被剿灭后，湘军统帅们的生存问题看得极为准确：要么安心交出兵权留得后世幸福，要么奋起反抗一鼓做气推翻清廷。
　　
　　尽管，目前没有证据证明三人有过灭清的密谋，但本人仍然认为这是有可能的。
　　
　　宿松湘军大聚首中，胡林翼上奏咸丰，请求恩准左宗棠回长沙招募湘勇6000。其后，左宗棠回到长沙以四品京堂候补、帮办曾国藩军务的名义，召集了5000湘勇。他按照戚继光组建戚家军的建制，组建了四营四总哨。每营500人共计2000人；每总哨320人共计1280人。与此同时，王錱旧部老湘军1400人在王錱堂弟王开化的率领下到来。左宗棠又挑选了200人的亲兵共分8队，全军以王开化为总管，刘典、杨昌濬为副总管。
　　
　　而这时，朝廷有意让左宗棠前往四川迎战石达开，但胡林翼坚决反对，并告诉左宗棠，湘军不能分开，如果分开就会失去相互协助的优势。因此，曾国藩和胡林翼以安徽危急为由，请求左宗棠开赴安徽。
　　
　　左宗棠组建军队的时候，为了和曾国藩的区别开来，将其称为楚军。由此，左宗棠成为第一个从曾国藩湘军体系中独立出来的人。与此同时，其兵源也并非像曾国藩那样独出于湘乡，而是周边地区包括湘乡等较广区域。左宗棠认为，如果全是湘乡人，那么一遇到困难，因为来自同一地区，这些人就非常容易倦怠，其行为就高度一致。例如，老湘军的军纪就非常成问题。