胡適說，對于殷海光的問題，他也仔細思考過。在這次演講中，胡適對殷海光的問題作了特別回答。胡適說，殷海光問題的關鍵是“究竟誰是有權有勢的人？”胡適認為，“有兵力、有政權”的人固然有權有勢，“窮書生、拿筆桿”的人“也有一點權，也有一點勢”，而后者正是使前者“感到危險”、“要圍剿”和壓迫的原因。所以，“拿筆桿的窮書生”也是“有權有勢”的人。當然，胡適解釋說，“我們這一班主持言論的人”的勢力，不是那種幼稚的勢力，也不是暴力，是憑人類的良知而存在的。因此，胡適認為：第一，不要把“我們自己”看成是弱者。“有權有勢”的人當中，也包括“我們這一班拿筆桿的窮書生”；“我們”也是強者。第二，正因為“我們”也是強者，“我們”也是“有權有勢”的人，所以“我們”絕對不可以濫用“我們”的權力：“我們”的權力要善用之，要用得恰當，要“情欲信，辭欲巧”，要“巧言令色”。所以，胡適說，他的《容忍與自由》里的話，不僅是對壓迫言論自由的人說的，也是對“我們主持言論”的人說的，容忍是雙方的，不是單方面的。文人也要容忍，說話要負責任。后來，胡適甚至認為：“政治的事情，執(zhí)政黨方面有克己自省的功夫的很少，在野黨方面能有克己自省的功夫的更少?？傊懈叨刃摒B(yǎng)的人，才能夠有自省的功夫；能夠自省，才能夠平心靜氣的聽別人的話，了解別人的話。了解別人的話，乃是民主政治最基本的條件。”

對胡適晚年所提出的“容忍”這一概念進行恰如其分的評價，著實是一個十分困難的問題。首先，“容忍”這個頗具中國特色的詞匯本身就不免讓人產生歧義，它與英文的tolerance、toleration有一定的差別。張忠紱先生就說，“容忍”一詞有純道德意味的傾向，不如改用“有容”或者“寬容”，并且應該說明“容忍”適用的“范疇與背景”。周策縱先生也在“容忍”之外增加了“抗議”的內容，認為“單有容忍而沒有抗議，‘還可能成為奴隸的道德’”。所以，周策縱先生認為，實際上，胡適的“容忍”是與“抗議”相輔而行的，而“抗議”是“容忍”的“補充或修正”，二者是胡適的“基本態(tài)度與精神”。張忠紱先生的論斷甚為中肯，也是對胡適“容忍即自由”思想最為恰當?shù)睦斫馀c詮釋。當然，周策縱先生的說法也是知人之論。但是，周先生的這個說法似乎沒有參透胡適內心的“隱秘”。因為胡適雖然在演講中所提出的是要社會的“弱勢群體”“容忍”，但是，如前所述，他是指向社會全體的。后來，因為組黨的問題，胡適也曾經向蔣介石提出過同樣的要求，要蔣介石將當年“容忍”他組黨的“雅量分一點來對待今日要組織一個新黨的人”。周先生說這樣的話，是因為他寫這篇文章的時候（1962年3月15日）還沒有看到胡適的日記的緣故。當然，亦如周先生所言，說胡適與蔣介石的這次談話是胡適對各方的一次“抗議”也未嘗不可。