李渊昔日任河东抚慰使时，有一位夏侯端曾任副使，二人是旧交。此人精通相术，善观天象。这天夏侯端前来拜望李渊，二人相见坐定之后，夏侯端一双眼睛盯着李渊转来转去，看了很久，李渊莫名其妙。只见夏侯端突然惊慌地说：“明公，大事不好！近日即有杀身之祸！”
“此事从何说起？”
夏侯端道：“明公两眼无神，下有黑晕，又心神不宁，此乃身首异处之兆。”
李渊大惊失色，问道：“祸从何来？”
“这不明摆着，公名应图谶，现今主上特别忌恨李姓官员，李密被逐，李浑一家三十余口无辜遭戮，恐怕下一个就轮到明公了。”
李渊沉吟良久，问道：“为之奈何？”
“俗话说，先下手为强，后下手遭殃。为今之计，莫若立即起兵，号令天下，方可转祸为福。近日在下夜观天象，见玉床摇动，帝座不稳，参星亮于太原上空，征兆太原一带有王气，必有真龙天子起于其间。除了明公还会有谁？故此在下特来拜访。”
正说话间，李渊手下的鹰扬府司马许世绪与其弟许洛仁一同走了进来，二人一见李渊，一起拱手道：“恭喜明公！贺喜明公！”
李渊不解，问道：“何喜之有？”
许世绪从袖中取出一幅画轴，递给李渊，说道：“明公自己看吧。”
李渊打开一看，只见图画中间画着一只羊，正在拼命奔跑，但有十八个男孩儿各人手持一把大刀，把羊团团围住，正举刀欲砍。李渊似懂非懂，问道：“这是何意？”
许世绪道：“适才在下正在家中读书，听见外面吵吵嚷嚷，出去一看，见一群人正围着看这幅画，说是两只喜鹊飞过时，从嘴里掉下来的。明公请看，当今皇上可是姓杨？中间之羊即是也。十八个男孩儿即十八子，乃是一个‘李’字，即是说，杨必亡于李手。从孩子皆着太原一带服装来看，该李即在太原。不是明公，还能指谁？此图预兆明公将取杨氏江山而代之，故在下与舍弟特来道贺！”
李渊道：“适才夏侯君说我有身首异处之忧，你又说我将取隋室而代之，不知谁是谁非？”
许世绪道：“夏侯君所言并不相悖。明公姓在图谶，名应歌谣，握五郡之兵，据四战之冲，举则帝业可成，若拖延不发，恐危亡旋至，一切全在明公一念之间。”
许洛仁也附和道：“隋室朝纲紊乱，已是天下动荡人心不稳。明公登高一呼，招纳才俊，必应者云集。若不趁势行动，将来必会后悔。”
当时的人们，对许多自然、社会现象难以理解，遂将之归为“天意”，很相信神道命运之说。而帝王则是“受命于天”的所谓“真龙天子”，代替上天主宰万民。李渊听这几人说得煞有介事，颇有些心动，暗想莫非我李渊真是真龙转世，有天命当主天下？他哪里知晓，这一切都只不过是二郎世民与刘文静的幕后策划，目的是要他下定决心举义反隋。
李渊当下对三人道：“几位所言之事，容我思之。即便举事，尚需等待时机，准备充分。”
夏侯端与许氏兄弟又劝说李渊，事已急迫，请他勿再犹疑。
唐俭之父唐鉴，昔时曾在宫中与李渊同领禁卫，交情颇深。可惜此时唐鉴已去世。唐俭兄长唐宪也跟李渊熟识，此时在西京长安，唐俭便修书一封派人送去，邀其兄赶来太原共谋大事。
唐宪来到太原，与其弟唐俭一同来留守府拜会李渊。
一番寒暄之后，唐宪也借机劝说李渊道：“隋失其鹿，天下共逐之，惟捷足者先登。明公日角龙庭，李氏又在图牒，久系天下人望。若迟疑不发，必为他人先得！”
唐俭也献策道：“明公北招戎狄，南收豪杰，长驱渡黄河，占据秦雍之地，海内之权，指麾可取。愿能以顺众望，则汤、武之业不远。”
李渊道：“汤、武之事，我不敢希求。但天下正乱，言私宜图谋自全，在公当拯救百姓，我将为天下苍生谋之。”
唐宪又劝他道：“先发制人，后发者制于人，机不可失，时不再来，何去何从，惟明公定夺！”
见有这么多人相劝，李渊更加坚定了举义决心，但考虑到建成、元吉等人尚未到达，若立即起事，恐他们被官府抓去必遭池鱼之殃。
此时北方又发生一桩大事。原来马邑有一地方豪绅刘武周，马邑太守王仁恭素日敬他骁勇任侠，是一豪杰之士，待之礼敬有加，刘武周得以任意出入太守府第。不料这刘武周背恩忘义，竟与王仁恭府中一爱妾勾搭成奸，此事被王仁恭得知大怒，要抓刘武周问罪。刘武周索性一不作，二不休，杀了太守王仁恭，开官仓赈济饥民。时值青黄不接之际，又逢天下大乱，百姓避乱的各地难民甚多。刘武周这一招很得人心，旋即收兵万余，南下袭破楼烦郡，进取汾阳宫，并以汾阳宫宫人、财宝贿赂突厥可汗，始必可汗于是封他为“定杨可汗”，意为“平定隋杨”，并送来许多马匹、兵器以示支持。刘武周得到突厥支持，便自称为皇帝，改元“天兴”。
李世民再次对父亲进言：“大人为太原留守，而贼窃据汾阳宫，大人何能辞其咎！若再不早定大计，祸今至矣！”
李渊环视左右道：“我尚有一事担心，今主上虽无道，然恩威尚在，若我等誓师，而人情不附，又当如何？”
刘文静献策道：“在下有一计，可使太原百姓悉听唐公号令，并可在百姓中间生出数万甲兵。”
“刘公请讲。”李渊急切地问。众人一起望向文静。
文静侃侃而谈：“时下百姓最担心的，尚不是缺衣少食，盗匪横行，而是妻离子散，良人远征。今上三伐高丽，多少人家流离失所？多少兵卒枉死他乡？若然再有第四次远征，诸位以为会是何等情形？百姓又会是何等心情？”
李渊已猜知文静意图，他以目光示意其继续说下去。
“倘若矫诏再一次征兵讨伐高丽，民心必乱！而我等则借机扩军，就说因刘武周占据汾阳宫，唐公奉旨讨贼，百姓入唐公兵营者可免去征伐高丽，百姓必宁愿守卫乡土而不愿远征辽东，如此则数万甲兵旬日可集，唐公以为如何？”
李渊赞许道：“此计甚妙，就依刘公计策行事。”
李渊遂召集留守府众僚属议事，对副留守王威、高君雅等人说：
“今刘武周窃取汾阳宫，晋阳与汾阳两座行宫，皆在我等职守之内，如不能将刘贼驱逐，主上怪罪下来，我等罪当族灭。刘贼气焰嚣张，又有突厥作后盾，太原驻地兵力不足，恐难以取胜，为之奈何？请诸位计议。”
那王威是个有勇无谋的一介匹夫，听李渊说得事态严重，当下慌了神，言道：“不知明公是否已有良策？我等唯唐公之命是从。”
李渊面有难色：“王副守为官多年，想必知道其中道理，朝廷用兵，例须禀告节度，本官不敢自专。但今主上远在三千里外之江都，而贼却近在咫尺，其势猖狂，远水难救近火。该当如何？”
王威道：“将在外君命有所不受，为朝廷平贼，也是王命所归，明公为此自专，主上必会谅解。”
李渊见王威已入其彀，心中窃喜，转而看着高君雅。高君雅原本比王威诡计多端，但前一阵与突厥交手打了败仗，李渊险些被执送江都，杨广却没有追究他。如今又丢了汾阳宫，高君雅知道杨广发起怒来对谁也翻脸无情，怕一旦追究起来自己吃罪不起，只得说：“唐公国之贵戚，朝廷重臣。主上远在江都，若等上报请旨，恐迁延时日。只要能够平定反贼，明公就作主，自行募兵吧。”
李渊作出一幅“勉强从之”的样子，说道：“既然如此，下官只好勉为其难了。”遂发布命令到各地募兵。
李渊又道：“还有一事，欲与二位副留守相商。”
“唐公尽管吩咐。”
“晋阳县令刘文静因李密之事连坐入狱，他为县令多年，熟悉地方豪杰，我欲先将他放出，令其带罪图功，协助募兵之事。若其努力，我等可为之上表，请求赦免，二位以为如何？”
王、高二人碍于李渊情面，不好不答应。其实刘文静早已私下被李世民放出，只是未公开露面。有了李渊这一番“商量”，他便可以公开行动了。
刘文静遂按照李渊授意，假借圣旨名义发布一道文告，征发太原、西河、马邑、雁门、楼烦诸郡百姓凡年龄在二十以上、五十以下者皆为兵，年底之前集合涿郡，再度东征高丽。同时发文声称因刘武周窃据汾阳宫，唐公奉命讨贼，入唐公兵营者可免去辽东。
文告一出，太原城内外立马像开了锅，街谈巷议，群情汹涌，人心惶惶。
“我看这皇帝老儿怕是疯了！一次又一次征伐高丽，除了让老百姓白白送死，又有什么好处？”
“男人们都去当兵，谁来种地？家里就只剩些老幼病残，还不得伸着脖子等死？”
“四方百姓被朝廷弄得妻不见夫，父不见子，昏君不给咱老百姓活路，咱也不让他安生，干脆拉杆子上山，反了得啦！”
有人甚至公开唱起当年长白山王薄起义时题写的反诗《无向辽东浪死歌》：
长白山前知世郎，纯着红罗绵背裆。
长矟侵天半，轮刀耀日光。
上山吃獐鹿，下山吃牛羊。
忽闻官军至，提刀向前荡。
譬如辽东死，斩头何所伤。
又莫向辽东去，迢迢去路长。
老亲倚闾望，少妇守空房。
有田不得耕，有事谁相将？
一去不知何日返，日上龙堆忆故乡。
又莫向辽东去，从来行路难。
长河渡无舟，高山接云端。
清霜衣苦薄，大雪骨欲剜。
日落寒山行不息，荫冰卧雨摧心肝。
又莫向辽东去，夷兵似虎豺。
长剑碎我身，利镞穿我腮。
性命只须臾，节侠谁悲哀？
功成大将受上赏，我独何为死蒿莱！
“无向辽东浪死歌”，用现代汉语来说，意为“别去辽东白白送死之歌”。大业七年，趁着隋帝杨广首征高丽，齐郡邹平人王薄以长白山为根据地聚众起兵，转战于齐郡、济北郡一带，成为首举义旗反抗隋杨暴政者。王薄自称“知世郎”，编了第一段五十四字歌词的《无向辽东浪死歌》，一时传唱南北，成为大隋民间“流行歌曲”，在传唱过程中，又被人添加了后三段歌词，使内容更为丰富，诉尽良人远征、枉死异乡、老无所依、妻离子散之哀伤。
百姓再一看留守文告，言入唐公兵营者可免去辽东，觉得与其去辽东白白送死，不如就近保卫乡土，跟着唐公有肉吃，于是纷纷投效李渊军中。加之李世民与刘文静等人早有准备，旬日之间，即募兵数万。李渊委派了各级军官，由长孙顺德、刘弘基、窦琮等人对新兵严加训练。
