劉早就聽聞宋金剛之名，宋來后劉傾心與宋結(jié)交，封了宋金剛為宋王，讓宋負責(zé)指揮軍事，還分了自己的一半家產(chǎn)贈送給宋。這樣的榮寵宋自然心中感動，從此對劉死心塌地，為表示忠心，宋甚至主動休掉了自己的妻子，迎娶劉武周的妹妹為妻（所謂婚姻不過是政治工具而已，正如劉備之所說妻子如衣服）。劉、宋二人如魚得水，其關(guān)系之緊密，就仿佛孫策之與周瑜。

宋金剛為劉武周分析局勢，認為李淵必定會將劉做下一個進攻目標，與其等李淵做好準備了來進攻，還不如趁李淵準備不足主動出擊，拿下李家的老巢太原。正好此時突厥與李淵反目，也支持劉武周進攻唐朝，于是劉武周起傾國之兵于武德二年（619年）六月向唐發(fā)起戰(zhàn)略進攻，矛頭直指太原郡城晉陽。

劉武周有備而來，又有突厥送人送馬在背后支持，其戰(zhàn)斗力極強，唐的守御部隊抵擋不住，丟失多座城池。李淵深為擔心，于是派出自己的老朋友頭號寵臣裴寂前往應(yīng)敵。九月，裴寂與宋金剛相遇于介休，介休本是唐地，當時已被宋攻克，裴部就于城外的度索原扎營。宋守城不與裴寂交戰(zhàn)，卻暗中派人破壞了裴營中的水源，唐軍缺水，不得不移營另找水源。宋就趁唐軍移營混亂之機發(fā)動突襲，唐軍猝不及防，幾乎全軍覆沒，主帥裴寂快馬加鞭逃得一命。

裴寂的全軍覆沒使唐朝已無力阻擋劉武周進攻晉陽，當時太原留守是齊王李元吉，李元吉得知劉武周兵臨城下后，豪氣干云地對部下說，你們領(lǐng)老弱守城，我親自帶精銳出城迎戰(zhàn)，隨后齊王率領(lǐng)精銳連夜出城——帶著自己的妻妾兒女金銀財寶——逃回長安去了。被拋棄的將士和人民別無選擇，只得主動開城投降了劉武周，太原郡落入劉武周手中。

晉陽是李淵的起義之地，是其苦心經(jīng)營了多年的地方，一直被視為“興王之基”，是唐朝僅次于首都長安的重鎮(zhèn)。劉武周從發(fā)起戰(zhàn)略進攻起只用了三個月就攻克了晉陽，這是李淵起兵以來遇到的最大失敗，氣得李淵直想殺人泄憤（雖然生氣也不會殺自己的兒子，是想殺輔佐李元吉的幾個大臣）。同時，關(guān)西各地的小股反唐勢力也紛紛乘機聯(lián)合劉武周對唐動武，而竇建德、王世充、蕭銑、梁師都等各路反王也不約而同對唐發(fā)動進攻，一時間李淵內(nèi)外交困，整個唐朝發(fā)生動搖。

面對劉武周的進攻，唐軍總指揮裴寂無力反擊，不得已之下，下令各地堅壁清野，強令百姓遷入各處城池、塢堡，無法帶走的糧食財產(chǎn)一律就地銷毀。這一招在戰(zhàn)略上是有效的，可以使敵人無法就地獲得補給，但它的運用必然導(dǎo)致大量的犧牲，其實是玉石俱焚的慘烈手段。對于老百姓來說，他們并沒有義務(wù)來支持唐朝對抗劉武周，也沒有義務(wù)去搞什么堅壁清野，唐軍跑來燒了他們的田地、房子、糧食，那唐軍就成了他們的敵人。結(jié)果裴寂的堅壁清野戰(zhàn)術(shù)遭到強烈的反抗，不斷有老百姓造反投靠劉武周，可以說是起了“化民為賊”的反作用。民變中最大的一股是河?xùn)|郡夏縣的呂崇茂，呂占據(jù)夏縣自稱魏王，裴寂前往討伐，居然被打得落花流水。

唐軍的軍事行動多次失利，河?xùn)|局勢一片大亂，李淵在長安為此憂心忡忡，聚集群臣商討是否該暫時放棄黃河以東，收縮部隊以確保關(guān)中。按理說李淵不該如此膽小，河?xùn)|一帶是他起家的老巢，如何可以輕言放棄，推測李淵可能是想以退為進，激勵群臣自動請纓。于是李世民跳將出來，力陳河?xùn)|不可棄，愿親自率部迎戰(zhàn)劉武周。李淵準李世民所請，為對付劉武周，唐朝終于打出了王牌。