有人说，曾国藩是因圣贤而入豪杰，胡林翼是因豪杰而入圣贤。古往今来，凡豪杰之士，大多有其落拓不羁的一面。胡林翼也像过去的江忠源那样，有过“人不轻狂枉少年”的经历。
　　
　　没有办法，他的家境实在是好——既然给设定了《红楼梦》中贾宝玉那样的本钱，你要一个真性情的人不轻狂一下，就太委屈他了。
　　
　　未考科举之前，这个纨绔少年“恣意声伎”，一放下书本就往花街柳巷钻。中科举进翰林之后，他好的还是这口，即便在京城困难重重。
　　
　　清代跟明代相比，最“存天理灭人欲”的地方，无过于禁止官员狎妓。一如现在的西方国家，老百姓花心一点儿无人追究，当官的被发现纵情声色那可是要被打屁股的。尤其道光那种正经八百的皇帝当政——他连“黄书”都不看，更别说付诸行动了。于是，京城的娱乐业也跟着萧瑟惨淡，所谓八大胡同、赛金花那都是后来的事。
　　
　　更有那假道学的马屁精，竟然顺着皇帝的心思来，干脆上道奏折，把唱戏的女旦都给禁了。这下好，舞台上跳来舞去，一水儿的男演员，没劲到让你都想往台上扔板砖。
　　
　　有点儿身份和资历的官员有办法，他们可以缩回自家院子，左一个右一个地娶妾迎小——反正往着不违纪不丢官的区域使劲就是了。可是翰林院的官员大多是刚刚中科举进来的年轻人，一方面有着当年杜牧杜诗人“十年一觉扬州梦，赢得青楼薄幸名”般的豪情壮志；另一方面又无钱去讨小老婆，青春期的过剩精力无处释放，漂在京城的滋味着实难熬啊！
　　
　　恨死了这帮假道学、伪君子！
　　
　　明着不行，色胆超过理智的翰林们便私下约好，集体出游——做这种事情太需要胆量了，一个人根本不敢独自行动。
　　
　　此类活动，胡林翼每次都是积极分子。有一天晚上，他与一个叫周寿昌的好友一起去逛妓院，正玩得好好的，突然就有类似于治安警的“坊卒”来检查。
　　
　　这真是惊魂一刻！周寿昌为人机灵，闪电般地跑进厨房，套了件衣服扮伙夫立着。警察进来一看，哦，厨师，就走开了。
　　
　　胡林翼等人反应没那么快，全给警察堵在那里，并且被抓回问讯。被审问时，可怜他们还不敢吐露真实身份，只说自己是老百姓。
　　
　　既然是小老百姓，人片儿警就有得拿你们开心了，自然是什么都问。他们还什么都得老实交代，脸面丢了，罪也受得不轻。
　　
　　被释放后，胡林翼看到毫发无损的周寿昌，不由又羞又愤：“朋友要临难相救，你却临难相弃，算什么朋友？绝交！”
　　
　　其实还真不能怪人家周同学，那种时候都是自顾不暇，总不至于大家伙儿全钻进厨房里，让警察相信这是妓院里的“厨师特训班”吧？！
　　
　　虽说是京城，其实特没劲，有劲的还是南方。
　　
　　未入翰林院之前，胡林翼曾在湖南省城举办的乡试中落榜，也就是没能中举。彼时他已迎娶新嫁娘。时任两江总督的陶澍就将小夫妻召到南京散心，顺便让女婿跟着自己做做幕僚，长长见识。
　　
　　胡林翼舒服日子过惯了，花费很大。据说后来即使他加入了湘军，仍保留着公子少爷的习惯，一定要吃好的喝好的，且“无三日不小宴”——隔三岔五都要开个小灶什么的——与曾国藩、罗泽南这些天天粗茶淡饭的苦行僧截然不同。
　　
　　胡林翼到了南京，这些花费都得朝老丈人伸手要。但陶澍眼睛眨都不眨，要多少给多少。
　　
　　大家都很惊疑，因为陶澍平时生活俭朴，从不大手大脚，对自己如此，对身边的人也是一样。陶澍的回答是：“这孩子是横海之鳞。一个纵海四海的金鳞啊，出手当然不一样！区区一勺子水，哪里够他办事的？”
　　
　　花点儿钱倒也罢了，可胡公子又看上了金陵有名的秦淮风月，经常扔下老婆，一个人跑去风流快活。
　　
　　按照陶澍的规定，幕僚八小时内外都不许离开衙署，更不用说去秦淮了。其他幕僚看着胡林翼潇洒来去，那个羡慕嫉妒恨啊！有人便以此为由，希望陶公解除严规。