盡管胡適出使美國的幾年中，整日殫精竭慮，不辭辛勞四處演說，以喚起美國民眾對中國的同情，以正義的力量介入戰(zhàn)爭，達到“以戰(zhàn)止戰(zhàn)”的目的。想不到這一切竟招致以孔宋集團為代表的政客們的種種非議與責難，各種流言甚囂塵上。而作為尚來好熱鬧和面子的胡適，在四處講演的同時，又喜歡在美國各校接受名譽博士學位，四年間，竟領得30余個榮譽博士學位。[17]如此炫目浮華的盛譽，確也過于顯山露水，令人眼熱，并假人以口實。于是，國內(nèi)的好事者便眾口一詞，謂胡適“只好個人名譽，到處領學位” 云云。而原來就與胡適特別是胡的“打手”傅斯年不睦的孔祥熙，更是借機煽風點火，四處詆毀，說胡適書生氣太重，辦事不力，整天只顧到處拿學位，對黨國利益毫不關心，在中立法、借款、禁運、合作等主要使命上一事無成，并在蔣介石面前屢進讒言，最終導致“老大”對胡漸漸失去了原有的信賴。1940年6月，蔣介石撇開胡適，命他的郎舅宋子文以自己私人代表的身份前往美國，爭取對華貸款。宋子文下車伊始，便以“老二”勃起的氣勢，劈頭蓋臉地對前來拜見的胡適掄擊道：“國內(nèi)有人說你講演太多，太不管事了。你還是管管正事吧！”胡適經(jīng)此一擊，自是不服，當場同宋子文爭執(zhí)起來，幸得眾隨從拉開，才免于更大的亂子發(fā)生。自此二人結(jié)怨，再也難以共事與合作。宋為急于立功，在美國撈得“大魚”，也撕破臉皮，開始對胡適進行公開詆毀與擠壓。

1940年10月，宋子文致蔣介石密電，公開表示對胡適的不滿，說：“欲得美國切實援助，非空文宣傳及演說所得奏效，務面向各政要及各界不斷活動。”又說：“際此緊要關頭，亟需具有外交長才者使美。”甚至公開提出撤換胡適，推薦施肇基接任駐美大使。蔣介石認為宋之意見自有道理，但鑒于胡適與羅斯?？偨y(tǒng)的校友關系以及在美國人民心目中的威望，思慮再三，遲遲未下決心。