聶榮臻是一個嚴(yán)肅的人。據(jù)聶榮臻秘書劉振杰回憶說，他在總參謀部與聶榮臻一起工作了3年，在辦公室里只聽他笑過一回。那是1950年的一天，劉伯承從南京來到北京，就住在聶榮臻的家里。劉伯承進城時，聶榮臻已經(jīng)到總參謀部上班了。劉伯承就打來一個電話，開玩笑說：“總參謀長，我到北京來了，向你報到?！甭櫂s臻說：“你來了？繳槍沒有？我這個北京市長是不許帶槍進北京的?！闭f完，聶榮臻自己就笑了。

1954年，聶榮臻任中央人民政府人民革命軍事委員會副主席，主管軍隊武器裝備工作。這時，聶榮臻工作的重心開始從中國人民解放軍代總參謀長轉(zhuǎn)移到軍隊武器裝備工作。1955年，聶榮臻被授予中華人民共和國元帥軍銜，成為十大元帥之一。1956年11月任國務(wù)院副總理，主管科學(xué)技術(shù)工作。1958年，聶榮臻又兼任國防科學(xué)技術(shù)委員會主任、國家科學(xué)技術(shù)委員會主任。1959年，聶榮臻任中共中央軍事委員會副主席，主管尖端武器的研制工作。

聶榮臻戎馬生涯半輩子，轉(zhuǎn)為“兩彈一星”總指揮，成為錢學(xué)森的“頂頭上司”。其實，“兩彈一星”工程相當(dāng)于美國的“曼哈頓工程”，是一個龐大的系統(tǒng)工程，要調(diào)動知識界的千軍萬馬。

“兩彈一星”最初是“兩彈”，因為當(dāng)時蘇聯(lián)第一顆人造地球衛(wèi)星尚未上天，中國還沒有開展對于人造地球衛(wèi)星的研制工作。當(dāng)時中央確定的方針是“兩彈為主，導(dǎo)彈第一”。也就是說，在國防科研上，研制導(dǎo)彈和原子彈放在“先行”的地位，而在“兩彈”之中，放在第一位的是導(dǎo)彈。

聶榮臻為人謙和，尤其是對科學(xué)家格外尊重，錢學(xué)森稱之為良師，在他開列的曾經(jīng)給予他深刻影響的17人名單之中，就有聶榮臻。

1956年5月10日，聶榮臻提出了《關(guān)于建立我國導(dǎo)彈研究工作的初步意見》報告，指出：

第二次世界大戰(zhàn)后，美國、英國、法國等都在大力進行各種導(dǎo)彈的研制工作。

為適應(yīng)中國國防現(xiàn)代化的需要，必須立即開始導(dǎo)彈的研制與培養(yǎng)技術(shù)人才的工作。

要以最大的速度，在幾年內(nèi)研制成功一種或一種以上的導(dǎo)彈。

為此，建議在航委下面設(shè)立統(tǒng)一管理導(dǎo)彈研制工作的導(dǎo)彈管理局；建立導(dǎo)彈研究院，以錢學(xué)森為院長，盡快開展導(dǎo)彈研制工作；建立自動控制、無線電定位等研究所，加速建立電子元器件研究所。

1956年5月26日，中央軍委召開會議，專題研究聶榮臻《關(guān)于建立我國導(dǎo)彈研究工作的初步意見》，出席會議的有周恩來、彭德懷等。

周恩來在會上作了重要指示：

一、導(dǎo)彈的研究方針是先突破一點，不能等一切條件都具備了，才開始研究和生產(chǎn)。

二、需要的專家和行政干部，同意從工業(yè)部門、高等院校、科研機構(gòu)和軍隊中抽調(diào)。

三、同意組建導(dǎo)彈管理局，由鐘夫翔任局長；同意錢學(xué)森為導(dǎo)彈研究院院長。

四、電子技術(shù)方面，可以先從培養(yǎng)人才開始，在西安設(shè)立軍事通信學(xué)院。

會議討論通過了聶榮臻的《關(guān)于建立我國導(dǎo)彈研究工作的初步意見》，責(zé)成聶榮臻全權(quán)落實這個方案。