唐武德二年（619）三月，刘武周率兵两万南侵晋阳。四月，又联合突厥驻扎在榆次以北的黄蛇岭，兵锋甚锐。唐并州总管、齐王李元吉派车骑将军张达率步卒抵御，最后全军覆没，张达投降了刘武周，榆次随之被攻破。五月，刘季真带领刘武周之众攻陷石州（今山西离石），杀死了刺史王俭。刘季真自立为突利可汗。接着宋金刚又接连打败唐军，平遥、介州（今山西介休）也落入刘武周之手。唐高祖李渊派出亲信右仆射裴寂为晋州道行军总管，督军抗击刘武周。裴寂与宋金刚在介休遭遇，宋金刚据城防御，裴寂就在城外的度索原扎营。宋金刚守城不出，却暗中派人破坏了裴军营中的水源，唐军缺水，不得不移营另找水源。宋就趁唐军移营混乱之机发动突袭，唐军猝不及防，几乎全军覆没，主帅裴寂快马加鞭一昼夜狂奔三百多里，逃离了晋州（今山西临汾）。刘武周势如破竹，进逼晋阳。李元吉连夜携其妻妾弃州逃回长安，晋阳也纳入刘武周之手。刘武周在旦夕之间就占据了李唐王朝的发祥地晋阳。之后又派遣宋金刚南下攻陷晋州，进逼绛州（今山西新绛），占据龙门（今山西河津），攻占浍州（今山西翼城）。      与此同时，夏县吕崇茂起义，自号魏王，与刘武周相呼应；隋朝旧将王行本据蒲坂（今山西永济北），与宋金刚相联合。至此，山西大部尽归刘武周统辖，唐在黄河东岸只剩晋西南一隅之地，关中大震，甚至唐高祖都惊慌失措。而此时各方割据势力，如窦建德、王世充、萧铣、梁师都等也不约而同对唐发动进攻，一时间李渊内外交困，整个唐朝发生动摇。      面对刘武周的进攻，唐军总指挥裴寂无力反击，下令各地坚壁清野，强令百姓迁入各处城池、坞堡，无法带走的粮食财产一律就地销毁。李渊也不得不下令放弃河东之地，全力守卫关中。然而只有李渊二子秦王李世民不同意，认为河东是唐王朝的基业和根本，绝不能放弃。并且主动请缨，愿意带精兵三万，与刘武周决战，收复晋阳。于是李渊同意了儿子的请求，把关中地区的兵马全部交给李世民调度，并在华阴长春宫为儿子送行。为对付刘武周，李渊终于亮出了自己的王牌。      同年十一月，黄河封冻，李世民率部踏冰渡河，与刘武周的主力宋金刚部在柏壁相持。此时正是寒冬，大军的粮草只能依靠后勤，不料唐军的后勤出了问题，粮草供应不上。李世民只得在河东就地征收粮草，可惜由于裴寂此前的坚壁清野，老百姓藏的藏、反的反，根本就无处可征，唐军陷于缺粮的不利局面。      这时李世民的个人号召力发生了作用，河东百姓听说是李世民取代裴寂担任唐军总司令，竟然不论远近纷纷前往柏壁军中投靠，于是解决了唐军的粮食危机。李世民知道宋金刚的后勤补给一定比自己还困难，自己缺粮，宋金刚肯定也缺，因此唐军坚守不战，反正自己的粮食问题解决了，就要等宋金刚粮草用尽时大举出击。      此时由于吕崇茂闹得太厉害，李渊紧急抽调部队，由永安王李孝基率领前去镇压。十二月，李孝基部将吕崇茂包围在夏县，吕崇茂急忙向宋金刚求援。宋正因李世民拒不出战而闲来无事，就派出手下猛将尉迟敬德前去支援。由于尉迟敬德来得突然，李孝基来不及反应就被前后夹攻，结果全军覆没，自己也被生擒。尉迟敬德得胜而归，便放松了警惕，泄漏了军事行动的机密，在半路突然遭到李世民部将殷开山、秦叔宝的伏击，尉迟敬德大败，狼狈逃回。不久，尉迟敬德又暗中前往蒲坂救援王行本，李世民亲率三千骑兵伏击，再次大败尉迟敬德，尉迟敬德只身逃跑。此时唐军士气大振，诸将都请求速战速决，而李世民则坚持采取持久战的策略。两军相持到第二年，宋金刚终于因粮尽而支持不住，从柏壁向北撤退。李世民一直就在等这个机会，于是立即全军追击。宋金刚迅速撤退，李世民追击也不遗余力穷追不舍，一昼夜行二百多里，沿途多次与宋金刚部交战，屡次挫败敌军。由于行军过快，辎重无法跟上，唐军在追击中竟断了粮，部下苦劝李世民停止追击，说我们击溃了刘武周主力，功劳已经很大了，再追击下去只怕反而因缺粮而败，况且您也要主要身体呀。李世民却严词拒绝，耐心解释道这是个难得的彻底击溃刘武周的机会，如果放过了，等宋金刚恢复过来就悔之已晚，最后还慷慨激昂地说，“吾竭忠报国，岂顾身乎！”于是将士们不敢再说肚子饿了，拼命紧追击宋金刚部。      由于宋金刚部队更加饥饿，被李世民追到了雀鼠谷再也逃不动了，李世民一日之内八次战胜宋金刚，斩获了数万人，缴获辎重车上千辆，宋金刚趁乱逃往了介休。直到晚上宿营时，李世民已经一天没有吃饭，三天没有脱铠甲了。军中断粮，全军上下只找到一头羊，被李世民和将士们分而食之。      随后唐军继续进攻介休，宋金刚只剩下二万兵力，于是率全军背城列阵，与唐军决一死战。李世民派秦叔宝等为北军，秦武通等为南军，作为侧翼夹击宋金刚，然后亲自率军冲锋，宋金刚部再次大败，他本人突围而逃，而尉迟敬德未能突围，被困在介休城中。李世民爱惜他的勇武，派人劝降，尉迟敬德眼看大势已去，于是带领八千人献城投降。      宋金刚仍不死心，想收拾残部再战，但其部下都已筋疲力尽，不愿再与李世民交战，宋金刚无可奈何，只好带领残部投奔了突厥。宋金刚与李世民相持时，刘武周为了击败李世民，将全部主力都派到了宋金刚军中，宋金刚部覆灭，刘武周的军事力量也就不复存在。虽然还有马邑、晋阳和大片占领的河东土地，但没了军队，土地自然也就没有用。无奈之下，刘武周领着少数部下也投奔了突厥。      后来刘武周和宋金刚分别得罪了突厥可汗，分别被突厥所杀。李世民带兵一路来到晋阳，刘武周的部下纷纷献城投降。      刘武周势力就这样被平灭了。大唐虽然控制着山西地区，但是并州仍然不断受到突厥的侵略，李世民继位后，便开始了对抗突厥的战争，从山西地区向北扩张，最终消灭了突厥主力，活捉了突厥颉利可汗，被少数民族誉为“天可汗”，创造了唐朝历史上拓边战争中最辉煌的胜利。大唐的边境也获得了难得的安宁。

     就在同年，李渊被拜为了太原留守，随后进军关中，占领了长安，之后当了皇帝，建立了李唐王朝。唐朝的建立，对割据一方不图进取的刘武周产生了极大的震动。这时，宋金刚建议应该迅速占领唐的发祥地晋阳，然后向南以征天下。于是刘武周采纳了这个建议，派宋金刚准备进攻晋阳。