令郝瑗,招募饥民数千人,派薛举前往讨捕盗贼。薛举与其子薛仁杲及同谋十三人,劫持郝瑗,假称收捕反叛者,将郝瑗等郡县官收监,开仓赈济贫民。随后薛举自称西秦霸王,建元为秦兴。薛举大肆招兵买马,气势很盛,所到之处,无不被攻下的。隋将皇甫绾屯兵一万在枹罕,薛举选精兵二千人偷袭,与皇甫绾军遇于赤岸,还未交战,突然来了暴风雨。开始之时,薛举军处于逆风之势,但皇甫绾却没出击;忽然风向改变,两边一对调,皇甫绾军处于逆风之势,天色昏暗,军中混乱。趁此机会,薛举策马冲前,大队人马紧随而上,隋军大败,于是攻陷枹罕。当时羌人首领钟利俗在岷山界拥兵二万,全部投降薛举,由此兵力大增。不断率军攻占地盘,又攻克鄯、廓二州,数日之间,尽有陇西之地,兵力多达十三万。
兵强马壮的薛举父子准备大举进攻关内长安,这时的李渊知道自己再不反的话,薛举父子就可能拿下长安及关中,到时自己再造反的话就难以立足天下了,终于李渊下定决心正式起兵了。
李渊想反,但并不代表他管辖的老百姓会跟着他造反。当时李渊治下的山西,虽偶有盗贼,但老百姓的日子还能过下去。李渊想造反了,还可以活下去的老百姓却没有这种不要命的想法。这对于李渊来说,可不是好事儿。所以李渊的下属刘文静就想出了一歪招:“诈为敕书,发太原、西河、雁门、马邑年二十岁以上,五十岁以下,悉为兵期岁暮集涿郡,击高丽。”
李渊假传杨广的旨意,说杨广要再伐高丽。讨伐高丽,对于当时许多人来说是一场恶梦,现在杨广居然又要讨伐高丽。所以这道假的圣旨让太原“人情忷忷,思乱者众”。同时李渊就以讨伐刘武周为名,开始私自大规模招兵。因为这时的李渊还是以隋朝太原留守的名义行事,所以在很短的时间里便招到近万人。
太原李渊要造反,却并不代表太原的所有隋朝官员都想和他一样。其中太原副留守郡丞王威、武牙郎将高君雅就对朝廷对杨广忠心耿耿,不肯追随李渊谋反。这两人的不合作,让李渊为造反做准备时总是畏手畏脚的,于是李渊决定除掉他们。
大业十三年(617)五月14日的夜里,李渊命次子李世民在晋阳(即太原)宫城外埋下伏兵。第二天早晨,李渊和王威、高君雅议事。刘文静领开阳府的司马刘政会到庭中,说有密状给李渊。李渊便让他交上来,但刘政会却不交,说要告的是王威、高君雅二人,只有李渊才能看。李渊假装吃惊地说:“怎么会有这种事?”李渊看后便对大家说:“王威、高君雅要勾结突厥入侵。”于是命人以叛国罪逮捕了他们二人。巧的是第二天,恰好有突厥几万人围攻太原,这更使人相信了王威、高君雅要勾结突厥入侵。于是李渊趁机将二人杀掉,解除了身边隐患。这个事件史称“晋阳事变”。还有更巧的是接下来李渊没费一兵一卒就智退突厥之兵。
其实早就决定起兵的李渊就知道对自己要以太原之兵反杨广,夺取天下是没什么把握的。所以他就像刘武周一样想借突厥的力量来帮助自己,他曾派出刘文静代表自己出使突厥。刘文静带着李渊亲自写的信给突厥始毕可汗,封题署具“某启”,有人建议:“突厥不识文字,只贪财宝。请多赠财物而改启为书,以显尊贵。”李渊答道:“古人云‘屈于一人之下,伸于万人之上’,何乐不为!‘启’之一字,不值千金。千金尚且不惜,一字何所惜也。”。信中李渊对突厥始毕可汗说:“若能从我,不侵百姓,征伐所得,子女玉帛,皆可汗有之”。李渊的这种情况与刘武周称臣于突厥没有两样,故始毕可汗像接受刘武周一样快速的答应了与李渊的“结盟”。他当着刘文静的面,对左右说:“杨广之为人,我知之也,不若奉唐公为天子,我当不避艰难,以兵马助之!”