劉琨在軍事上毫無(wú)建樹(shù)，唯有"月夜奏笳退胡騎"成為他一生最經(jīng)典的一次戰(zhàn)役。公元311年，洛陽(yáng)陷落，312年春，匈奴漢國(guó)的大軍兵圍晉陽(yáng)，"為胡騎所圍數(shù)重，城中窘迫無(wú)計(jì)，"劉琨月夜登城，面對(duì)數(shù)萬(wàn)匈奴騎兵發(fā)出一聲長(zhǎng)長(zhǎng)的清嘯，劃破清冷月光籠罩下的原野，"賊聞之，皆凄然長(zhǎng)嘆，"劉琨中夜奏起胡笳，"賊又流涕?#91;欷，有懷土之切。 向曉復(fù)吹之，賊并棄圍而走。"劉琨成功的運(yùn)用心理戰(zhàn)，利用匈奴騎兵思鄉(xiāng)之情，奏胡笳以動(dòng)之。使匈奴人心離散，軍心動(dòng)搖，又不知城中的虛實(shí)，撤軍而走，晉陽(yáng)之圍遂解。這其中有一半劉琨的功勞，也有一半拓跋部的功勞，匈奴人退走，實(shí)際上是害怕圍城日久，拓跋部來(lái)救援晉陽(yáng)。

危難一過(guò)，他的老毛病又犯了，聽(tīng)信善音律懂藝術(shù)的徐潤(rùn)的讒言，殺掉生性亢直的奮威護(hù)軍令狐盛。在群雄爭(zhēng)霸戰(zhàn)亂紛飛的年代，千軍易得一將難求，劉琨寵藝人殺豪杰大失人心。連他母親也看出來(lái)了，勸他不要?dú)ⅲ?你沒(méi)本事，駕馭不了豪杰，只會(huì)把比你強(qiáng)的人除掉來(lái)保平安如何了得，這樣下去，連我都要跟你遭殃。"劉琨不聽(tīng)，果不其然，令狐盛的兒子見(jiàn)老爹遇害，一怒之下投奔匈奴漢國(guó)，并把晉陽(yáng)的虛實(shí)一一匯報(bào)給漢主劉聰，說(shuō)雁門(mén)關(guān)的烏桓人謀反，劉琨去平叛，城中空虛，城里還有許多不滿劉琨的人。劉聰大喜，派兒子劉粲和令狐泥一道攻打晉陽(yáng)。劉琨真的率精兵去雁門(mén)關(guān)，留守的太原太守高喬舉城投降，匈奴人不費(fèi)一兵一卒占領(lǐng)晉陽(yáng)，劉琨的父母均被殺害。

劉琨應(yīng)該悔出腸子來(lái)，沒(méi)辦法跑到拓跋部哭訴，猗盧很夠義氣，聞聽(tīng)大怒，起傾國(guó)之兵為劉琨報(bào)仇。二十多萬(wàn)鮮卑騎兵殺向晉陽(yáng)，劉粲為拓跋部氣勢(shì)所攝，焚燒輜重突圍遁走，拓跋騎兵隨后追擊，大敗匈奴，連斬?cái)?shù)將，匈奴兵伏尸數(shù)百里。游牧民族喜歡打仗之暇進(jìn)行捕獵來(lái)補(bǔ)充軍糧， 猗盧大獵壽陽(yáng)山，陳閱皮肉，山為之赤，可見(jiàn)拓跋人的氣勢(shì)。劉琨自營(yíng)門(mén)步入拜謝，固請(qǐng)進(jìn)軍，他意氣用事，猗盧可不糊涂，對(duì)他說(shuō)："我沒(méi)有早來(lái)，讓你父母遭到殺害，實(shí)在是有愧?，F(xiàn)在并州已經(jīng)光復(fù)，我們遠(yuǎn)道而來(lái)，士馬疲弊，不能再繼續(xù)前進(jìn)了，劉聰不是一仗就可以消滅的。"猗盧知道劉琨不是什么將才，送給他一千多匹馬，牛羊各一千多頭和一百輛車(chē)后回師，把部將箕澹、段繁等留下來(lái)幫助戍守晉陽(yáng)。

猗盧對(duì)他這個(gè)把兄弟仁盡義至，劉琨也對(duì)得起猗盧，先后上表晉廷封猗盧為大單于、代公，并割讓陘嶺（今山西省代縣西北句注山）以北的馬邑、陰館、樓煩、繁疇、崞五縣給拓跋部（其地東接代郡，西連西河、朔方，方數(shù)百里）。晉陽(yáng)之戰(zhàn)后，劉琨更是上表朝廷再為猗盧請(qǐng)功，長(zhǎng)安的晉愍帝小朝廷封猗盧為代王，猗盧正式受封稱王，拓跋代國(guó)的雛形由之形成，兩人之間的關(guān)系達(dá)到最頂峰，二人秣馬厲兵，準(zhǔn)備聯(lián)合進(jìn)攻匈奴漢國(guó)。他們策劃率十萬(wàn)騎兵西進(jìn)，派人聯(lián)絡(luò)晉廷，讓晉軍從蒲坂東渡，東西夾擊，欲在匈奴漢國(guó)都城平陽(yáng)（在今山西省臨汾市）會(huì)師。

公元313年對(duì)于大晉國(guó)來(lái)說(shuō)是軍事形勢(shì)最好的一年。雖然在這一年晉懷帝司馬熾被劉聰毒死于平陽(yáng)，恰恰說(shuō)明此時(shí)匈奴漢國(guó)的心虛。311年司馬熾被俘，劉聰封他為光祿大夫，第二年又改封會(huì)稽郡公，儀同三司，并將自己寵信的小劉貴人賜給他，以示自己寬大的胸懷。然而隨著匈奴漢國(guó)軍事上的失利，司馬熾的好日子為時(shí)不多了。

漢國(guó)的領(lǐng)土僅僅局限于今天的山西南部，太岳山麓兩側(cè)，漢國(guó)的兩員大將劉曜和石勒各自率兵在關(guān)中（今陜西）和趙魏地區(qū)（今河南北部和河北南部）作戰(zhàn)。晉朝在關(guān)中地區(qū)的軍隊(duì)經(jīng)過(guò)大小數(shù)百次戰(zhàn)斗，屢敗劉曜的匈奴軍。江淮地區(qū)的司馬睿將石勒趕過(guò)黃河，幽州刺史王浚派出鮮卑段部的軍隊(duì)攻打石勒，石勒的處境非常的窘迫。匈奴的主力又在晉陽(yáng)遭受失敗，形勢(shì)一片大好，所以劉琨提出消滅匈奴漢國(guó)的建議，得到了長(zhǎng)安諸將的強(qiáng)烈支持，他們擁立晉武帝司馬炎的孫子年僅十四歲的司馬鄴為首領(lǐng)，意圖迎回晉懷帝。