林文錚更容易讓人感嘆他的不幸，感嘆造化弄人，雖然有非常良好的開局，但誰(shuí)也想不到最終結(jié)果。一九三八年十二月，教育部下令，將逃難到湖南沅陵的北平藝專與杭州藝專合并，結(jié)果出現(xiàn)了很嚴(yán)重的派系之爭(zhēng)。文人本來(lái)好斗，國(guó)難期間也是如此，學(xué)生的火氣特別大，動(dòng)不動(dòng)就鬧學(xué)潮。據(jù)說(shuō)背后還有張道藩在搗鬼，林風(fēng)眠對(duì)付不了，甩手不干了，留下一份辭職聲明，讓林文錚念給全校的師生聽。

林風(fēng)眠一走，林文錚也無(wú)心干下去，辭職，夫婦雙雙離開。在當(dāng)時(shí)，辭職就是失業(yè)，他們夫婦已有了五個(gè)孩子，一失去工作，頓時(shí)陷入貧困之中。好在半年后，又在西南聯(lián)大找到了工作，林文錚教西洋文學(xué)史，蔡威廉教法語(yǔ)，聊以生存。也就是在這時(shí)候，蔡威廉生第六個(gè)孩子，得了產(chǎn)褥熱不治而亡，他的鄰居沈從文以十分沉痛的心情寫道：

我每天早晚進(jìn)出，依然同小朋友招呼。間或稱呼他家第三位黑而胖的小姐為“大塊頭”，問(wèn)她爸爸媽媽好，出不出門玩。小孩子依然笑嘻嘻答應(yīng)“很好”?？墒乔皟商炻牸依锶苏f(shuō)，才知道孩子的母親，在家生產(chǎn)了一個(gè)小毛毛，已死去三天了。

林文錚變了一個(gè)人，沒(méi)有志同道合的好友林風(fēng)眠，沒(méi)有美滿恩愛的賢妻蔡威廉，他從此失去人生方向。法國(guó)留學(xué)生的瀟灑派頭不見了，床頭金盡囊空如洗，作為六個(gè)孩子的父親,養(yǎng)家糊口成為第一要?jiǎng)?wù)。有一種說(shuō)法，國(guó)民黨去臺(tái)灣前，曾動(dòng)員他也去，但是被拒絕了，他對(duì)國(guó)民黨毫無(wú)感情。

林文錚曾經(jīng)迷戀宗教，一度皈依佛門，信奉“紅教”，藏傳佛教的一個(gè)分支。一九四九年后高校調(diào)整，他被調(diào)劑到廣州的中山大學(xué)，經(jīng)濟(jì)情況開始好轉(zhuǎn)，一九五三年又調(diào)到南京大學(xué)外語(yǔ)系，教法國(guó)文學(xué)史。一九五七年反“右派”前，他是外語(yǔ)系副主任、法語(yǔ)教研室主任。南大的法語(yǔ)專業(yè)一向厲害，與他多少有點(diǎn)關(guān)系，“文革”前差點(diǎn)獨(dú)立，成立專門的法語(yǔ)學(xué)校，連新校址都選好了。“文革”后，全國(guó)法語(yǔ)的第一個(gè)博士點(diǎn)也在南大。

如果不打成“右派”，以林文錚的法文水平，或許是另外一個(gè)結(jié)局。他再婚了，找了個(gè)比自己年輕二十歲的大姑娘。然而他成了“右派”，很快又是反動(dòng)會(huì)道門分子，判刑二十年，直到一九七六年春天才被放出來(lái)。這時(shí)候，離粉碎“四人幫”，只有幾個(gè)月。