隋末，天下大乱，李勣投身瓦岗寨，迅速脱颖而出，与单雄信并肩成为翟让的左膀右臂。李勣文武双全，翟让多纳其策。
　　
　　瓦岗寨起义之后，最大挑战在于如何更好地生存与发展。首先是到那里弄粮的问题。再有，起义的农民军分散在河北、河南、山东等地，彼此缺乏联系，难以协调作战，不能形成强大的威慑力量。而大隋帝国中央力量还极强大，完全可将义军逐一击破。这时，初上瓦岗的李勣向翟让提出自己的建议：
　　
　　今此土地是公及绩乡壤，人多相识，不宜自相侵掠。且宋、郑两地，地管御河，商旅往还，船乘不绝，就彼邀截，足以自相资助。
　　
　　这一建议包涵了三层意思：
　　
　　第一，东郡，即瓦岗山所在地，是翟让、李勣故乡，人多相识，地主、贫民“不宜自相侵扰”。即是不要再本乡本土打家劫舍，或许财物。这点直指义军的致命弱点，中国两千多年的封建史，起义军更如过江之鲫数不胜数，为什么成功的仅仅只有秦末的刘邦、隋末的瓦岗寨，和元末的朱元璋，关键就在于那些失败的义军在起义后，有了一定势力便为所欲为，抢劫乡里，连春秋战国时期的大盗盗跖还知道跑到千里之外抢劫，可是那些义军连“兔子不吃窝边草”的道理都不明白，民心已失，等到朝廷的军队到来，民众还不箪壶盛浆以迎王师啊！所以说起义造反这东西，你一定要坚持一点，就是我就是正义之师，哪怕这仅仅是个口号，你也要震天动地地去喊，这点水泊梁山做得就很好，一面杏黄大旗高高飘扬，上书着“替天行道”四个大字，可是这并不妨碍梁山好汉们打祝家庄、曾头市、大梁府等地时一村一村的屠，一城一城的杀。有时候口号和作为是两码事，口号只是在你成功后给在你脚下匍匐的史官看的，让他们好好美化美化自己。所以李勣才提出不能抢自己地盘上的东西，何况这地方也并不富庶。但是，瓦岗军上上下下都要吃饭啊，你不去抢指望什么养活老婆孩子啊，这帮义军大多都是些无赖，你不发钱激起兵变，都不用隋朝灭你，自个就把自个收拾了。后世的大太监刘瑾怎么死的，死就死在外地的兵变演化出的蝴蝶效应上了。不过李勣早为瓦岗军想好了出路。
　　
　　第二，邻近的宋、郑两地也不要抢。
　　
　　第三，只抢劫行驶于宋、郑两郡界内之御河（通济渠）的船只：就是抢官家的东西。一来官家的东西有质有量，抢一次就可支撑好几个月；二来，炀帝正忙着打高丽，运河船只往来不息，随时都可去抢；三来，抢掠的都是所谓民脂民膏，抢完虽落入自己腰包，却也有杀富济贫的味道，还可展现瓦岗寨是替天为民的正义之师：又有实惠又得名声。
　　
　　翟让很爽快地批准了李勣这一建议。自此，瓦岗军供应充足，武器精良，还有余力时常接济一下周边百姓，在普通百姓心中地位越来越高，来投奔的人也越来越多，很快便发展为万余人。
　　
　　而且，李勣的这一游击建议，使瓦岗军远离本土，即使因屡次打劫官船而被隋朝盯上，也会因军队不停流动而被视为流寇，从而让隋朝放松警惕。并且，瓦岗军也正是利用了通济渠一带水道复杂这一点，不停迂回游击，使隋军无法将其全歼，为义军日后获胜创造了条件。
　　
　　大业九年（613年）正月，隋炀帝二征高丽，又一次全国调兵，征用民夫、物资。这激起更多的民众揭竿起义。诏令发布的正月，便有王润、杜彦冰、李德逸于平原郡（今山东陵县）起义，有众数万人；白瑜娑于灵武郡（今甘肃灵武西南）起义，号奴军。二月，韩进洛于济北（今山东东阿东北）起义，聚众数万人。三月，孟海公于济阴（今山东曹县北）起义，众至数万人；郭方预于北海（今山东益都）起义，自号卢公，有众三万人。五月，甄宝车于济北起义，聚众万余人。