“义军”围困长安之后，并没有急于攻城。
李渊屡次派人到城下，送书信给卫文升，但守城将士却根本不报知卫文升。
代王杨侑与卫文升、阴世师等人，认为“义兵”势众，且军令严整，越发闭城固守。
李渊怕兵戎相见，毁坏宫室，伤及百姓，而落下骂名，执意要劝降城中守军，一直不下令攻城。
关中刚归附的诸将求战心切，他们认为自已不是举兵起事的元勋，以没有建功为耻，纷纷要求率所部攻城。
十月十七日，关中群雄，再次请求率精锐登城。李世民、李建成心中同意，但却不敢违抗李渊的命令，就派人报告李渊，李渊坚决不予允许。
十月二十七日，各部又一次请求攻城，李渊又未允许。
李世民、李建成极力劝说李渊，“自晋阳发兵以来，我军长驱直入，基本上没有不能攻克的城池。如今到了京师，久围不攻，恐将挫了将士锐气。更让人担忧的是，怕新归附的部众小看太原之兵，认为我等无能。请阿爷速做决断，以免夜长梦多，生出意料之外的变故。”
李渊见众将攻城心切，也不好再作阻拦，只得同意李世民、李建成和部众的请求，允许攻城，但却下令，“不得侵犯宗庙、代王杨侑和隋朝宗室。有违此者，罪及三族。”
得到李渊同意以后，各部开始进行精心准备，修造攻城器械，演练攻城之法。
十一月初九拂晓，各部开始攻城，守城官兵瞬间分崩离析，几乎未遇抵抗，即攻克长安。
李渊命李世民、李建成将各部撤出城外驻扎，派人查封府库，收存图籍，禁止掳掠，所有军队严加约束，不得惊扰城中百姓。
李渊亲自到东宫，恭迎代王杨侑迁居到大兴殿。
破城之后，李渊下令抓捕原马邑郡丞李靖。
李靖文武兼备，善于用兵，长于谋略，曾随李渊北击突厥。
晋阳起兵前，李靖发现李渊也暗中招兵买马，伺机而动，准备发动兵变。察觉李渊的动机之后，他将自己伪装成囚徒，逃离晋阳，准备前往江都，向杨广告密。但当到长安之时，关中已经大乱，道路阻塞，李靖去江都的打算未能成行。
李渊对李靖的所做所为十分气恼，将其抓捕后准备将其斩首。李靖见到李渊，丝毫无畏惧之色，抗声道，“唐公举兵起事，本来是为天下除暴平乱，难道不想成就大事，反而因私怨杀壮士吗？”
在李世民一再劝说下，李渊怒气才消，终将李靖释放。李世民感佩李靖的才略和胆气，将其收入自己幕府。
杨玄感兵变之时，杨广曾下令掘其祖坟。
李渊晋阳起兵后，长安留守的官员阴世师、骨仪等人，也按照杨广处置杨玄感的先例，毁了李家宗庙、掘了李渊的祖坟。
对于此事，李渊甚为愤恨。
攻克长安之时，卫文升已经病亡，李渊就命李建成将阴世师、骨仪、崔毗伽、李仁政等十几人，斩首于朱雀大街，此外再没有追究一人。
文武官员劝李渊自立为帝，但李渊不同意。
从内心来说，称帝乃李渊日思夜想之事，如不想称帝又何必冒着抄家灭门的风险举兵起事？
但当下的情势却不允许，虽说是关中初定，可是北边仍有薛举、梁师都、刘武周和突厥等强敌，李密与王世充正在中原一争高低，山东、燕赵之地群雄割据，江南仍由大隋皇帝掌控。李渊如若此时称帝，有可能引起诸强联合，借机给李渊加上忤逆的罪名，共讨李渊。这样李渊有可能成为众矢之的。
因此，李渊内心对皇帝大位是垂涎三尺，对外却不得不打出“尊隋”的旗号。
他对外所说的，都是冠冕堂皇的理由，实则全不是他的真心话。
既然还不到称帝的良机，李渊就需要立代王杨侑做傀儡皇帝。他命太常寺官员择定吉日，祭告隋文帝庙，确定尊位，筹备立代王杨侑为皇帝的礼仪。
十一月十五日，李渊率文武百官，备羽仪法驾等仪仗，迎代王杨侑即位于大兴殿，当时代王年仅十三岁。
新帝杨侑下诏，大赦天下，改大业十二年为义宁元年。在诏书之中，不说废杨广立代王，而说遥尊杨广为太上皇。
新皇帝杨侑即位，下诏：特赐李渊持黄钺、持节，委以大都督内外诸军事、尚书令、大丞相，晋封为唐王。以武德殿为丞相府，每日于虔化门办理政务。晋封李建成为唐世子，李世民为京兆尹、秦公，李元吉为齐公。
攻下长安以后，关中基本平定，但尚有屈突通数万军队在潼关与刘文静相峙。
李渊率军从汾阴渡黄河进入关中之时，屈突通留下鹰扬郎将尧君素防守河东，打算从武关前往蓝田以援救长安。到潼关时，受刘文静兵马阻拦，两军相持一月有余。
眼看长安势危，屈突通心急如焚，他命令武牙郎将桑显和夜袭刘文静。
刘文静所率军队分作三处营寨，营寨外围是堑沟，堑沟里面是木桩围成的木栅，两军隔着堑沟、木栅对战。隋军试图突破木栅，冲入营寨之中。
战至天明，桑显和所率隋兵连破两座营寨木栅，仅剩文静所在的中军大寨未被突破，隋军兵马数次冲入营寨，两军短兵相接，刘文静所率“义军”死伤惨重，士气低落，初显溃败之势。
但桑显和所率隋军从半夜战至天明，军士疲惫，也无力再战，桑显和传令起灶做饭，待将士食后再战。
刘文静见隋军休息，趁机分兵充实另外两座营寨，并命段志玄率数百轻骑，绕到隋军后面，攻其背后。
受到段志玄所率骑兵突袭，桑显和不得不派兵守住后阵，此时刘文静命三座营寨的士卒奋力出击，隋军大乱。
段志玄率骑兵冲入敌阵，前后冲杀，身中数箭，血染征衣，仍然气势不减。
“义军”士气大振，杀声洞彻云天，桑显和兵马瞬间溃败，桑显和单人独骑破阵而逃，所率士卒尽数被“义军”俘获。
桑显和败后，屈突通兵力损失大半，已无力对抗刘文静所率“义军”，有部属劝屈突通投降李渊，他含泪说道，“我受先帝、主上厚恩，怎可再侍他人？只有以死报答。”
屈突通已到穷途末路之时，然而他仍然言笑如常，抱定慷慨赴死之心，他摸着自己的脖子对部属道，“为人臣子，当效死节，我愿为国家受人一刀。”部属为其忠义所感，都愿誓死追随，无人叛离。
李渊派屈突通的家僮带着书信前去劝降，屈突通看都不看李渊的劝降书，当场将书信撕毁，立即下令将前来劝降的家僮斩首。
不久，长安陷落的消息传到潼关，屈突通的家属全部都陷于长安城中，他知道大势已去，率领兵马前往洛阳。
屈突通知道桑显和的家属皆在长安，也不勉强他随自己东去，便留下桑显和镇守潼关。屈突通走后，桑显和即率领属下向刘文静投降。
刘文静得知屈突通率军撤往东都洛阳的消息，即派遣窦琮、段志玄随桑显和率精骑追击屈突通。
追到潼关以东稠桑塬，窦琮、段志玄所率精骑与屈突通相遇，屈突通命部属摆阵进行抵御。
窦琮让屈突通儿子屈突寿到阵前劝降，屈突通高声叫道：“从前我和你是父子，今日却是仇敌！”
叫罢，屈突通即命令左右发箭射向屈突寿，左右部属知道那是屈突通儿子，哪里会真将屈突寿射死？纷纷将箭射向屈突寿身侧。
桑显和催马上前，对屈突通所率部众喊话，“如今京师陷落，各位将士家属都在关中，尔等为何要往东行？难道要抛下家中父母、妻子儿女不管？”
屈突通部属已无战意，都用期待的目光看着屈突通，等待他的决断。
屈突通见军心已散，走已走不脱，战亦不能胜，便下马朝东南江都方向连连叩头，含泪说道：“臣力尽兵败，已对得起陛下。”然后束手就擒，所率部下也全都放下兵器不战而降。
屈突通被擒以后，刘文静将其送往长安。李渊见到屈突通，并未将其问罪，而是问他，“为何这么晚才见到将军？”
屈突通羞愤难当，含泪说道，“屈突通不能殉人臣之节，战败被俘，成为本朝的羞辱，未能守住关中，深觉有愧于代王。”
李渊感叹，“将军真乃是大隋的忠臣！”下令将其释放，任命其为兵部尚书，赐爵蒋国公，兼秦公元帅府长史。
屈突通归降之后，关中初定。
义宁元年十二月，李渊开始以大隋丞相之名号令关中，招附天下。
薛举派其子薛仁杲入侵扶风郡，李渊派李世民迎击，大胜而归。
李渊派刘文静引兵东出潼关，占领弘农郡，平定新安以西；又派姜謩、窦轨出散关，安抚陇右；李孝恭招慰山南；张道源招慰山东。
李孝恭自金川出巴、蜀，檄书所至，降附者三十馀州。