当李渊看清救他的人竟是自己的二儿子李世民时，不由得是夸赞地说道：“不愧是我李家的虎儿，颇有乃父当年的风采。”正说着隋军的步兵也赶了过来，并在两军的合击之下，是大破甄翟儿所率领的叛军。而甄翟儿也在大战之中，死在了虎牙郎将高君雅的手里。
就在李渊招降纳叛，不断扩充自己的势力时，二儿子李世民早已预料到大隋必亡，所以也同样在暗中结交豪杰，招纳逃亡之人，并网罗天下各种人才。
当李渊平定叛乱并大获全胜的消息传到江都后，隋炀帝杨广便正式任命他为了太原留守及晋阳宫监。大业十三年617年农历二月，李渊治下驻马邑的鹰扬府校尉刘武周发动了兵变，并杀死马邑太守王仁恭，据马邑而自称为了天子。
农历的三月，刘武周率军攻破了楼烦郡，并进占了汾阳宫。同时他还与突厥人勾结，欲图谋长安与洛阳，并争夺天下。
当隋炀帝杨广在得知此消息后，是龙颜大怒，欲提李渊到江都治罪。而就在这危急的情势之下，李渊的二儿子李世民则劝说父亲道：“爹，您可千万不能去江都啊，到时那昏君肯定会杀了你的，不如咱们就地起兵，反出这大隋去吧。”
而李渊一听此话，顿时是大惊地说道：“你竟然劝我谋反，若是事情败露，这可是株连九族的大罪，你是想把我们李家都赔进去不成？”
看着李渊不同意造反，李世民不得不把与晋阳令刘文静、晋阳宫监裴寂等人密谋起兵的事情是全盘地说了出来，惊得李渊的脸色是青一阵白一阵。他万万没想到自己的这个儿子早已起了谋反之心，并且还撺唆了这么多的文臣武将与他一起起兵谋反。
此刻的李渊是犹豫不定，既害怕起兵的事情败露，又害怕起兵失败后，全家人的下场。就在李渊迟迟不肯下定谋反的决心时，他的心腹谋臣裴寂、许世绪、武士眜等人也纷纷劝他造反，并保证此事绝不会泄露出去的。最终李渊在听了心腹们的劝说后，终于定下了反隋的决心。
于是李渊找来借口要防备刘武周和突厥人的南下，因此无暇分身前往江都。就在李渊致杨广的圣旨于不顾时，他又派出了李世民、刘文静、长孙顺德、刘弘基等人到各郡县去招募兵丁，并在很短的时间内就招到了上万人。
而太原副留守王威和高君雅看到李渊在招兵买马后，顿时怀疑他要谋反。于是便密谋想要骗李渊父子到晋祠里祈雨，并趁机铲除李氏，向隋炀帝邀功请赏。
可惜他们的密谋竟被晋阳乡长刘世龙获悉，当刘世龙将此消息告诉给了李渊后，李渊闻知是又惊又怒，并暂时装病没有前往晋祠里祈雨。
其实李渊很想杀掉王威和高君雅两人，可是他现在缺兵少将，根本没有把握拿下这两人来。同时王威和高君雅手里也握有不少的兵权，所以李渊也只能暂时忍下了这口气来。