像陳蘭彬這樣一個人，他生來只習(xí)慣于看到被壓抑的青春，不能發(fā)揮的活力和獨(dú)立精神，以及不能把真誠坦率形之于外的舉止。因此他對目前這些留學(xué)生的行為不能不感到奇怪，而且認(rèn)為都是大逆不道的行徑。這些學(xué)生到新英格蘭以后，一旦解除了他們心靈上的沉重壓抑和約束，當(dāng)然會因?yàn)榈玫阶杂啥老部嗫瘛！?/p>

“生來只習(xí)慣于看到壓抑的青春”的人，還不止陳蘭彬一人。

繼任肄業(yè)局委員的吳嘉善，這位同樣出身翰林的老爺，視留美幼童與國內(nèi)私塾的學(xué)生無異，不料幼童們在其接見時，均不行跪拜禮，頓時大怒：小小年紀(jì)便目無尊長，這還了得？且不說現(xiàn)在還沒有成材，即使學(xué)業(yè)有成也不能為中國所用！立即上奏要求將幼童撤回。

國內(nèi)攻擊幼童事業(yè)的聲音也一直沒有消歇過。光緒六年十一月（公元1880年12月），一位叫李文彬的御史上了一個折子，彈劾留美幼童，“多入耶穌教門，其寄回家信有‘入教恨晚死不易志’等語。……或習(xí)為游戲，或流入異教，非徒無益，反致有損，關(guān)系實(shí)非淺鮮”。

總理衙門接連聽到對留美幼童事業(yè)不利的聲音，開始征求重臣及相關(guān)人士之意見，有的主張全撤，有的主張半撤半留，有的主張整頓。而主張全撤者占據(jù)主流，尤其是借助幼童留美事業(yè)擺脫仕途不順，登上駐華盛頓全權(quán)公使高位的陳蘭彬，給了這項(xiàng)事業(yè)最后一擊。他在奏折中說：“外洋風(fēng)俗，流弊多端，各學(xué)生腹少儒書，德性未堅(jiān)，尚未究彼技能，先已沾其惡習(xí)，即便竭力整頓，亦覺防范難周，亟應(yīng)將該局裁撤?！笨偫硌瞄T即據(jù)陳蘭彬之奏，作出了“將出洋學(xué)生一律調(diào)回”的決定。

這一決定讓所有關(guān)心中國現(xiàn)代化進(jìn)程的人深為失望。由耶魯大學(xué)校長波特執(zhí)筆，美國多位文化名人聯(lián)名給總理衙門寫了一封信，力請中國政府收回成命。當(dāng)時因華人勞工問題，美國國內(nèi)興起排華浪潮，這些名人盛贊幼童的行為，“使許多無知者和不懷好意的人對中國的偏見逐漸消失，而代之以稱贊?！卑绹翱偨y(tǒng)格蘭特也積極游說，但均未能讓清廷改變決定。光緒七年（公元1881年）七月，中國幼童奉命輟學(xué)撤退回國。當(dāng)幼童由美國撤回時，全體幼童中，只有詹天佑等兩人大學(xué)畢業(yè)。誠如溫秉忠所言：“大多數(shù)再過一兩年即可畢業(yè)，中途荒廢學(xué)業(yè)，令人悲憤異常。”

好不容易邁出一步的腳又收了回來，誰該為此負(fù)責(zé)？

按照容閎的意見，首當(dāng)其沖者是陳蘭彬和吳嘉善。他在回憶錄中憤怒地指責(zé)陳蘭彬是“對任何事都不敢負(fù)責(zé)任的膽小怕事的懦夫”，而吳嘉善則應(yīng)該“送進(jìn)瘋?cè)嗽夯虻湍苷呓甜B(yǎng)所”；其次則是在朝中位高權(quán)重、又是幼童留美事業(yè)主持人的李鴻章。容閎批評李鴻章“不曾挺身而出為學(xué)生說話，反而站到保守派一方，同意招回留學(xué)生。”

后來的研究者基本都沿襲了容閎的觀點(diǎn)，無論是撰《劍橋晚清史》的西方漢學(xué)家還是大陸學(xué)者，在他們筆下，陳蘭彬、吳嘉善卑鄙而自私，而李鴻章則首鼠兩端。細(xì)按史料，這種說法頗值商榷。陳蘭彬、吳嘉善并非頑固不化的人物，像吳嘉善還是個“精研數(shù)理”、撰有《算數(shù)二十一種》的數(shù)學(xué)家，從史料中也沒有發(fā)現(xiàn)他們在道德上有多么嚴(yán)重的污點(diǎn)。而李鴻章在風(fēng)波中的言行，置身異域的容閎哪能了解得十分真切呢？