精通Transformer：從零開始構建最先進的NLP模型

　　AI領域的基石王者，那些還沉迷于CNN，RNN的工程師被警告：放棄戰(zhàn)斗吧，向Transformer投降！在過去的二十年中，自然語言處理研究領域發(fā)生了翻天覆地的變化。在這段時間里，自然語 言處理經歷了不同的處理范式，并終進入了一個由神奇的Transformer體系結構主導的新時代。 Transformer深度學習架構是通過繼承許多方法而產生的，其中包括上下文詞嵌入、多頭注意力機制、位置編碼、并行體系結構、模型壓縮、遷移學習、跨語言模型等。在各種基于神經的自然語言處理方法中， Transformer架構逐漸演變?yōu)榛谧⒁饬Φ?ldquo;編碼器-解碼器”體系結構，并持續(xù)發(fā)展到今天?，F(xiàn)在，我們在文獻中看到了這種體系結構的新的成功變體。目前研究已經發(fā)現(xiàn)了只使用 Transformer 架構中編碼器部分的出色模型，如 BERT（Bidirectional Encoder Representations from Transformers，Transformers雙向編碼表示）;或者只使用Transformer架構 中解碼器部分的出色模型，如 GPT（Generated Pre -trained Transformer，生成式的預訓練Transformer）。本書涵蓋了這些自然語言處理方法?；?Hugging Face社區(qū)的Transformer庫，我們能夠輕 松地使用Transformer。 本書將循序漸進地提供各種自然語言處理問題的解決方案：從文檔摘要到問 題回答系統(tǒng)。我們將看到，基于Transformer， 可以取得的成果。

　　本書由Savas Yldmnm專業(yè)人士編寫薩瓦斯 ·伊爾蒂利姆 （Savas Yldmnm） 畢業(yè)于伊斯坦布爾技術大學計算機工程系，擁有自然 語言處理 （NaturalLanguageProcessing，NLP）專業(yè)的博士學位。目前，他是土耳其伊斯坦布爾比爾基大學的副教授，也是加拿大瑞爾森大學的訪問研究員。他是一位積極熱情的講師和研究員， 具有20多年教授機器學習、深度學習和自然語言處理等課程的豐富經驗。他開發(fā)了大量的開源軟件和資源，為土耳其自然語言理解社區(qū)做出了重大貢獻。他還為人工智能公司的研究開發(fā)項目提供全面的咨詢服務。