晉惠帝（司馬衷的謚號(hào)）元康末年，成都王司馬穎被任命為鎮(zhèn)北大將軍，鎮(zhèn)守鄴城。鑒于劉淵的影響力，就起用他為寧朔將軍、監(jiān)五部軍事，將他調(diào)到鄴城。

這時(shí)，“八王之亂”開(kāi)始，天下大亂，匈奴部族也自然有些想法了。劉淵的從祖，原北部都尉、左賢王劉宣等人在一起議論時(shí)說(shuō)：“從前，我們的先人與漢室約為兄弟，憂泰與共。自漢亡以來(lái)，魏晉代興，我們的‘單于’雖有虛號(hào)，卻沒(méi)有寸土之業(yè)，從王侯降為編戶（與普通老百姓無(wú)異了吧）?，F(xiàn)在司馬氏骨肉相殘，四海鼎沸，看來(lái)是我們興邦復(fù)業(yè)的時(shí)候了?！?/p>

眾人都認(rèn)為劉淵“姿器絕人，干宇超世”，一致推他為大單于，并派同黨呼延攸到鄴城密告劉淵。劉淵也是早有此心，便借故向司馬穎請(qǐng)歸，司馬穎畢竟心有疑慮，并未放行。劉淵只好讓呼延攸先回去捎上口信，命劉宣等人召集匈奴五部人馬及其他的胡人，以響應(yīng)司馬穎為名，準(zhǔn)備起事。于是晉室江山在風(fēng)雨之中，已是搖搖欲墜了。