大业十三年(617年)，李渊派人给瓦岗寨送信，约定同期举事，共取天下。然而，大军刚行至中途，隋朝就派大将宋老生率三万兵马赶来弹压。宋老生凶悍无比，李渊只能琢磨用巧计破敌。
于是，他让俩儿子李建成、李世民各率骑兵500人，自己统领步兵2000人，翻过山口，到达宋老生驻扎的霍邑城外。3000人打三万人，怎么打?李渊有办法。他将全部骑兵化整为零，每组20人，将霍邑城团团围定，又让俩儿子各带20名骑兵在城门附近埋伏，2000名步兵则排成方队，远远地站着，冲着霍邑城呜嗷喊叫。
宋老生发现李渊的人马在后方出现，大吃一惊，赶紧出门迎敌。霍邑城的南门、东门同时打开，三万隋军向着李渊的2000人冲了过去。李渊丝毫不犹豫，掉头就走。隋军紧追不放。正追着，忽听后面喊声震天，原来是李建成带领20个骑兵，不由分说抢了南门;李世民带了20个骑兵，趁这机会抢了东门。
三万人马登时大怒：总共20个人也敢抄后路，真是太不像话了!于是隋军掉头向城门方向杀去。不想李渊也趁这机会尾随其后追杀而来。隋军乱了，李渊以3000人成功地将对方三万人马团团围困，这激起了宋老生部将的凶性。只听杀声震天，无数双脚踏起的尘埃遮蔽了天空，震动得霍邑城摇摇欲坠。宋老生正指挥若定，忽见李渊跳起来，站在马背上，手里举着一颗人头，大声喊叫道：宋老生死了!他手下的2000步兵也同声呐喊：宋老生死了，大家杀啊!
宋老生的鼻子差一点气歪，可是2000人的齐声吼叫让三万隋军真的以为主帅死了，他们顿时慌了，向着四面八方哭喊着逃命，被李渊的部队砍得满地人头滚滚。宋老生自己也被一个小兵抓住，几刀杀掉。那小兵捧着人头，飞跑到李渊面前报功。不想，李渊接过人头，用力往地上一摔，然后放声号啕。他一边大哭，一边骂：宋老生，你这个王八蛋，我李渊清白一辈子，从来不伤害对手，可今天让你破了例，你为什么这么难为我?难道我李渊勤政为民、爱护百姓有错吗?非要逼着我杀人盈野、血流成河吗?宋老生啊，你为什么这么逼我，为什么啊……
就在李渊的捶胸顿足、放声痛哭时，只听霍邑城门发出了嘎吱的声响，城门开了，霍邑请降。李建成和李世民对视了一眼，都不由得打心眼里佩服。不愧是当爹的，兵不血刃，哭开城门。
以哭服人，哭到你自开城门投降为止。就这样，李渊轻松地渡过黄河，抵达长安城下。
此时隋炀帝正巡幸江都，长安城里主持军务的是代王。代王刚刚九岁，见李渊大军杀到，紧闭城门，拒不出战。于是李渊对将士们说：我是来保卫皇上的，我不愿意看到战火突起，不愿意看到有一个百姓因为我死亡，倘若出了这样的事，是杀是砍是剐是剁，我随你们处置。
说完这句话，李渊就回到军帐里，坚决不向外边偷看一眼。外边的军士则在李建成、李世民的带领下，将长安城附近的竹子树木统统砍光，用来制造攻城的器械。等李渊终于走出军帐的时候，三军将士已经登城而入，攻下了长安城。李渊痛心不已，仰天大恸：“陷孤不义，皆卿而等!”
李渊进城后，跪在代王面前大哭，哭罢，宣布废黜隋炀帝，拥立代王为皇帝。代王也不傻，恳求把天下让给李渊。李渊断然拒绝，说：你把我当成啥人啦!代王再恳求，李渊再拒绝。代王甚至最后跪在地上磕头恳求，李渊说：我李渊岂是那种人?外边的受禅台子搭好了没有?搭好了那就赶紧吧……