到上海后，李克農(nóng)很快與與錢杏邨取得了聯(lián)系，并將組織關(guān)系轉(zhuǎn)到春野書店支部。春野書店支部由瞿秋白直接領(lǐng)導(dǎo)，李克農(nóng)通過(guò)春野書店與上海的地下黨組織接上了關(guān)系，在“春野支部”過(guò)組織生活。剛來(lái)上海的這段時(shí)間里，李克農(nóng)主要從事文化教育工作，與地下黨員潘漢年等人一起，參與黨在上海的一些小型報(bào)紙的創(chuàng)辦。如他與潘漢年一起，創(chuàng)辦了《鐵甲車》小報(bào)。當(dāng)時(shí)條件很差，但他們干得非常開(kāi)心。

1928年冬，他被調(diào)到中共滬中區(qū)委，擔(dān)任宣傳委員，繼續(xù)從事文化工作。他遵照黨的指示，經(jīng)常上街撒傳單、貼標(biāo)語(yǔ)，搞“飛行集會(huì)”等活動(dòng)。

早在1928年2月，在蔣介石授意下，國(guó)民黨成立了中央組織部黨務(wù)調(diào)查科。這實(shí)際上是國(guó)民黨的一個(gè)特務(wù)機(jī)構(gòu)，是中統(tǒng)（CC系）的前身。開(kāi)始的時(shí)候，黨務(wù)調(diào)查科的工作對(duì)象主要是幫助蔣介石掃除異己勢(shì)力，奪取國(guó)民黨最高領(lǐng)導(dǎo)權(quán)。當(dāng)蔣介石當(dāng)上國(guó)民黨軍事委員會(huì)委員長(zhǎng)和兼任國(guó)民政府主席后，黨務(wù)調(diào)查科把目標(biāo)轉(zhuǎn)向了共產(chǎn)黨。到了1929年冬，國(guó)民黨為了控制局勢(shì)，著手建立秘密特務(wù)組織。

時(shí)任國(guó)民黨中央組織部黨務(wù)調(diào)查科主任的陳立夫，為了迎合蔣介石“剿共”的需要，計(jì)劃在黨務(wù)調(diào)查科的基礎(chǔ)上，建立一個(gè)秘密偵察、審訊的特務(wù)機(jī)關(guān)，對(duì)外名稱是“中央俱樂(lè)部調(diào)查科”（后來(lái)改為“中統(tǒng)”）。陳立夫把這件事交給他表弟徐恩曾來(lái)辦，任命徐恩曾擔(dān)任調(diào)查科主任，同時(shí)兼任上海無(wú)線電管理局局長(zhǎng)。

徐恩曾這人曾留美學(xué)習(xí)電氣工程，但對(duì)如何建立特務(wù)機(jī)關(guān)當(dāng)時(shí)還是個(gè)外行。于是就找到他的浙江湖州同鄉(xiāng)、當(dāng)時(shí)在上海無(wú)線電管理局任秘書的錢壯飛說(shuō)：“陳老板讓我出任中央組織部調(diào)查科科長(zhǎng)，招兵買馬，擴(kuò)充機(jī)構(gòu)，專門對(duì)付共產(chǎn)黨。我此次去南京任職，需要一個(gè)得力助手，我想帶你去，做我的機(jī)要秘書，你愿不愿意？”錢壯飛表示要考慮后再答復(fù)他，實(shí)際上他是要向黨組織匯報(bào)此事。

李克農(nóng)與胡底早就認(rèn)識(shí)，經(jīng)胡底介紹，李克農(nóng)又認(rèn)識(shí)了錢壯飛。后來(lái)被稱為“龍?zhí)度堋钡娜恢泄睬閳?bào)英雄，此時(shí)聚在一起。錢壯飛說(shuō)：“現(xiàn)在上海無(wú)線電管理局正在擴(kuò)大人員，為建立國(guó)民黨特務(wù)機(jī)構(gòu)作準(zhǔn)備。目前缺少?gòu)V播新聞編輯，要向社會(huì)公開(kāi)招聘?！比搜芯空J(rèn)為，這是打入敵人內(nèi)部的絕佳機(jī)會(huì)。李克農(nóng)當(dāng)即表示，他會(huì)迅速通過(guò)在上海的中共江蘇省委向黨中央報(bào)告。他自己準(zhǔn)備報(bào)考無(wú)線電管理局，在國(guó)民黨特務(wù)機(jī)構(gòu)中建立共產(chǎn)黨的組織。

接到李克農(nóng)的報(bào)告后，中共江蘇省委將此事上報(bào)了中共中央。

兩天后，江蘇省委的同志通知李克農(nóng)，中央對(duì)他的意見(jiàn)進(jìn)行了認(rèn)真研究，決定讓他和胡底、錢壯飛一起打入國(guó)民黨特務(wù)機(jī)構(gòu)中去。根據(jù)周恩來(lái)的指示，他們?nèi)顺闪⒁粋€(gè)黨的特別小組，由李克農(nóng)任組長(zhǎng)。同時(shí)，中共中央批準(zhǔn)錢壯飛可以隨徐恩曾去南京。