1975年6月，鄧小平把精力轉向重整中國的科學事業(yè)?！拔母铩逼陂g，在匯聚了大量高級科學家的中國科學院，每250個科學家中就有一人被迫害致死；中科院上海分院的每150人中有一人死于非命。即使在社會上少數(shù)仍然維持運轉的研究機構中，科研工作也受到極大的干擾。在“文革”前夕的1965年，中國科學院有106個下屬研究單位，科研人員24714人。到1975年時只剩下13個研究所、2個研究室和2000多名人員，其中有1800名干部或科研人員，200名后勤人員。在1975年，很多下放農村的科學家還沒有回來。鄧小平、華國鋒派出胡耀邦、李昌擔任中國科學院核心領導小組負責人，對中國科學院進行整頓，包括選拔新領導、恢復科學著作的出版。因此，對科學界的整頓是從中國科學院開始，隨后擴大到其他研究機構的。

鄧小平親自決定由胡耀邦領導中國科學院的實際整頓工作。7月中旬，華國鋒代表鄧小平和黨中央對胡耀邦說，黨希望中國科學院在四個現(xiàn)代化中發(fā)揮重要作用。胡耀邦首先要對中國科學院進行摸底調查，把情況匯報給中央，然后搞一個整頓計劃。中國科學院的整頓完成后，再整頓其他科研機構——隸屬于國防部、分管經濟的各部和地方政府的科研機構。之后要對學校和出版系統(tǒng)進行整頓。

胡耀邦率領一個三人小組，帶著整頓的命令于7月18日來到中國科學院。他宣布，“文化大革命”在中國科學院已經結束，工宣隊和軍宣隊都要離開，中科院過去被下放農村的人現(xiàn)在可以回到自己的單位重新工作。要讓科研人員獲得必要的研究文獻，包括外文出版物。

幾周之后，胡耀邦召開了有中國科學院人員和各主要部委代表參加的一系列會議，探討中國在未來10年的科學技術需求。這些會議標志著向制定10年科學規(guī)劃邁出的第一步。從8月15日到22日，胡耀邦又和相關的黨委干部開會，討論中國科學院的重建和主要領導人的選拔。他宣布，中國的目標是在20世紀末實現(xiàn)包括科學現(xiàn)代化在內的四個現(xiàn)代化。在整個9月份，胡耀邦與各研究所的領導開會，討論如何克服他們工作中的具體障礙。在去各研究所之前，他全面研究了有關各所的材料，并與熟悉所內工作情況的人員交談。

胡耀邦能夠設身處地為受過罪的人著想，因為他和他們都是被迫害的幸存者。他十幾歲便加入共產主義運動，不久后險些因某些有問題的社會關系而被判處死刑；“文革”期間，他在獲準回京重新工作之前也受過迫害?；謴凸ぷ鞯目茖W家覺得能與他親近，對他產生了信任感：這是一個理解他們苦難的人，因為他也受過苦。此外，經過認真研究，胡耀邦逐漸了解了各研究所存在的基本問題，他完全信任中國科學院的科學家團隊。

他還幫助解決中科院人員的個人生活問題，例如改善他們的生活條件，把家屬從農村調到北京。事實上，他指示各所的干部把全部下放農村勞動和“學習”的人員列出一份名單，繞開繁文縟節(jié)把他們調回來。他不怕替他們說話，為他們的事業(yè)出頭。每次他在某個研究所講話都會成為一件很轟動的事。他很快就成了中國科學家群體心目中的英雄。

9月26日，胡耀邦向鄧小平匯報了中國科學院在撥亂反正、選拔新領導和恢復工作方面的進展，鄧小平充分肯定了胡耀邦的工作。10月4日胡耀邦被正式任命為中國科學院“黨的核心小組”第一副組長。他上任之后為各研究所任命了三套領導班子：一套管黨，一套管業(yè)務，一套管后勤。他尊重專家，明確表示業(yè)務上的事由他們說了算。該年底鄧小平受到批判時，胡耀邦正在為各研究所任命新的行政領導，政治氣候一變，任命進程也隨即停了下來。在制訂中國科學院的整頓計劃和為成立單獨的中國社會科學院制訂計劃的同時，胡耀邦還根據(jù)鄧小平的指示，著手制訂了一個由中國科學院牽頭的“十年科學規(guī)劃”。由于倉促上馬，胡耀邦主要利用了1956年批準的現(xiàn)成的“十二年規(guī)劃”（1956～1967）。新規(guī)劃的第一稿于8月11日完成，即胡耀邦召開一系列中科院研究所會議之前。