談榮章叫道：“葉翔之是個(gè)混蛋，楊吉昌的孩子分明是他的，他污陷我，害得我每年給楊吉昌亡墳燒香。”

葉翔之說：“你他媽的血口噴人，我跟楊吉昌啥都沒有過，哪來的孩子？”

唐縱氣得臉色慘白，正要拂袖而去，毛人鳳站起來對(duì)葉翔之和談榮章說：“兩位要注意場合，不要胡鬧?！?/p>

見毛人鳳發(fā)話，葉翔之和談榮章立即像孩子似的一樣聽話，安安靜靜地坐下來，會(huì)場再次安靜下來。此時(shí)唐縱根本沒有心思講話了，只能草草結(jié)個(gè)尾，跟大家說一下軍統(tǒng)裁撤的事：“軍統(tǒng)局之歸并裁撤，既不是因?yàn)榇骶珠L之死，也不是因?yàn)楣伯a(chǎn)黨的反對(duì)，而是由于時(shí)勢之需要而產(chǎn)生。因此，在裁并調(diào)整的時(shí)候，義利公私之分甚為重要，如果把握不住，將來是會(huì)犯嚴(yán)重的過失與危險(xiǎn)的，希望大家勿存私見?！比缓笏醚┌椎氖峙敛敛聊樕系暮?，怒氣沖沖地離開了會(huì)場。

這以后，唐縱丟了面子，又怯于人情輿論上的抵觸，盡量避免踏入雷池，舉凡有關(guān)改組裁并的事務(wù)，大多委托給了毛人鳳，并且唐縱對(duì)自己被任命為內(nèi)政部次長兼全國警察總署署長心滿意足了，并不想介入軍統(tǒng)內(nèi)部的派系斗爭中，于是平靜地退出了軍統(tǒng)內(nèi)部三大派別的角逐。

沒有了唐縱，湖南派頓失重心，很快分化瓦解，許多湖南派大特務(wù)紛紛投靠鄭介民、毛人鳳以求自保，湖南派不復(fù)存在了。毛人鳳儼然已經(jīng)成為軍統(tǒng)的內(nèi)當(dāng)家。

唐縱既被鄭介民和毛人鳳擠了出來，沒多久，他被任命為全國警察總署署長，開始苦心經(jīng)營自己的警察總署。

毛人鳳后來曾這樣埋怨唐縱，說：“唐先生只會(huì)向家里（指“軍統(tǒng)”）要東西，要去了馬臺(tái)街的房子，要去了不少的汽車，要去了中美所刑事實(shí)驗(yàn)室的全部器材，就是不肯要人！”意思是不把軍統(tǒng)的人安排在城里的警察局里任職，特別是以后唐兼了國防部保安事務(wù)局長之后，也只挑了趙世瑞等幾個(gè)人去工作。從此，唐縱基本上離開了保密局的核心崗位。后來國民黨撤退到臺(tái)灣之后，他的工作逐漸轉(zhuǎn)移到黨務(wù)方面，著有《思與行》、《美國政治與英美政黨之比較》和《黨友之理論與實(shí)踐》等書，與軍統(tǒng)再無瓜葛。