衛(wèi)三畏的漢語，盡管十分精湛，但對日語卻難稱嫻熟。他的夫人在一封信里說得很清楚：“他被人扣上了日語專家的頭銜，但實際上他只是十年以前跟一個日本水手學過一點日語，并且從那以后就再也沒有機會練習過。他的日語基礎是如此薄弱，可以想像，成功完成任務的可能性是極小的?！蓖白匪?，據(jù)衛(wèi)三畏1837年9月10日致安德森牧師的信以及吉利克《伯駕與中國的開放》一書，衛(wèi)三畏接觸日本水手的時間是十六年前的1837年，當時美部會計劃將七名在外國海域遭遇海難的日本水手送回日本，順便探查正處在閉關鎖國的日本。那次他們乘坐的是名為“馬里遜號”的商船，由于傳教士身份敏感，衛(wèi)三畏是作為自然學家的身份出行的。這次訪問完全失敗，因為日本人根本不允許他們登岸，也拒絕七位水手返國，還用炮火襲擊他們。七位日本水手只好原船回到中國。其間衛(wèi)三畏開始向這些日本人中的一位學習日語，甚至還在日本人的協(xié)助下將《創(chuàng)世記》、《馬太福音》等篇章翻譯成日文 —— 那的確是很久之前的事情了。

不管怎樣，佩里將軍還是對衛(wèi)三畏深信不疑，反復勸說，甚至說這是這個大計劃能否成功的決定條件，四十一歲的傳教士兼漢學家只好勉為其難地答應了。

1853年5月啟程，經(jīng)過琉球，7月抵達日本。日美進入交涉階段，或許語言真是問題，日本人忙從長崎找來一個會荷蘭語的通譯，才大致解決了相互溝通問題。雙方很快達成妥協(xié)，在7月14日舉行美國總統(tǒng)信函交接儀式，美方四百人［其中五十名官員，五十名樂師］，日方一千五百名軍人，五十名官員。雙方舉止得體，秩序井然。衛(wèi)三畏說：“這是一次東方與西方的會晤，是國際交往史上的一大盛事，也意味著美國參與亞洲事務的開始。”

美日正式簽約是在次年3月12日。據(jù)衛(wèi)三畏的記載：“在舉行簽字儀式時，日方特使帶來了三份日文本的條約，一份荷蘭文譯本，還有一份中文譯本。我們則帶來了荷蘭文和中文譯本各一份，英文譯本三份?！逼渲校袀€細節(jié)很重要：衛(wèi)三畏熟悉《中法黃埔條約》，所以，美日條約的第九條就是根據(jù)他的建議，規(guī)定了日本須給予美國最惠國待遇 —— 這也許是漢學家對于此次締約內容的一個相當實質性的貢獻。