自然語言處理導論

前言
第1章緒論
1.1基本概念
1.1.1語言學與語音學
1.1.2自然語言
1.1.3自然語言處理
1.2自然語言處理的發(fā)展歷程
1.2.1自然語言處理的發(fā)展歷史
1.2.2自然語言處理的研究現(xiàn)狀
1.2.3自然語言處理的發(fā)展前景
1.3自然語言處理的基本方法
1.3.1理性主義方法
1.3.2經(jīng)驗主義方法
1.3.3對比分析
1.4自然語言處理的研究內(nèi)容
1.4.1文本分類
1.4.2信息抽取
1.4.3文本摘要
1.4.4智能問答
第2章語言模型
2.1語言模型概述
2.2n-gram統(tǒng)計語言模型
2.2.1何為n-gram模型
2.2.2n-gram語言模型評估詞序列
2.2.3n-gram統(tǒng)計語言模型的應用
2.2.4n-gram模型中n對性能的影響
2.2.5n-gram模型小結(jié)
思考題
參考文獻
第3章神經(jīng)網(wǎng)絡(luò)和神經(jīng)語言模型
3.1人工神經(jīng)網(wǎng)絡(luò)和神經(jīng)語言模型
3.1.1人工神經(jīng)網(wǎng)絡(luò)
3.1.2神經(jīng)語言模型
3.2卷積神經(jīng)網(wǎng)絡(luò)
3.2.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
3.2.2卷積神經(jīng)網(wǎng)絡(luò)的文本處理
3.3循環(huán)神經(jīng)網(wǎng)絡(luò)
3.4遞歸神經(jīng)網(wǎng)絡(luò)
3.4.1遞歸神經(jīng)網(wǎng)絡(luò)的前向計算
3.4.2遞歸神經(jīng)網(wǎng)絡(luò)的訓練方法
思考題
參考文獻
第4章詞和語義向量
4.1離散分布表示
4.1.1獨熱表示法
4.1.2詞袋表示法
4.2分布式表示
4.2.1Word2vec
4.2.2矩陣分解
4.2.3GloVe
4.3文本特征選擇法
4.3.1基于文檔頻率的特征提取法
4.3.2 χ2統(tǒng)計量
4.3.3信息增益法
4.3.4互信息法
4.4特征權(quán)重計算方法
4.4.1布爾權(quán)重
4.4.2 詞頻
4.4.3TF-IDF
思考題
參考文獻
第5章預訓練語言模型
5.1Transformer
5.2ELMo
5.3GPT
5.4BERT
5.5后BERT時代
思考題
參考文獻
第6章序列標注
6.1馬爾可夫模型
6.2條件隨機場、維特比算法
6.2.1條件隨機場的原理解析
6.2.2條件隨機場的特性
6.3序列標注任務(wù)
6.3.1自動分詞
6.3.2漢語自動分詞中的基本問題
6.3.3歧義切分問題
6.3.4未登錄詞問題
6.4漢語分詞方法
6.4.1基于詞頻度統(tǒng)計的分詞方法
6.4.2N- 短路徑方法
6.4.3基于詞的n元語法模型的分詞方法
6.4.4由字構(gòu)詞的漢語分詞方法
6.4.5基于詞感知機的漢語分詞方法
6.4.6基于字的生成式模型和區(qū)分式模型相結(jié)合的漢語分詞方法
6.4.7其他分詞方法
6.5詞性標注
6.5.1詞性標注概述
6.5.2基于規(guī)則的詞性標注方法
6.5.3基于統(tǒng)計模型的詞性標注方法
6.5.4統(tǒng)計方法與規(guī)則方法相結(jié)合的詞性標注方法
6.5.5詞性標注的一致性檢查
6.5.6技術(shù)評測
6.6命名實體識別
6.6.1基于條件隨機場的命名實體識別方法
6.6.2基于多特征的命名實體識別方法
6.6.3基于神經(jīng)網(wǎng)絡(luò)的命名實體識別方法
思考題
參考文獻
第7章語義分析
7.1詞義消歧
7.1.1有監(jiān)督的詞義消歧方法
7.1.2基于詞典的詞義消歧方法
7.1.3無監(jiān)督的詞義消歧方法
7.1.4詞義消歧系統(tǒng)評價
7.2語義角色標注
7.2.1語義角色標注基本方法
7.2.2語義角色標注的領(lǐng)域適應性問題
7.3雙語聯(lián)合語義角色標注方法
7.3.1基本思路
7.3.2雙語聯(lián)合語義角色標注方法系統(tǒng)實現(xiàn)
思考題
參考文獻
第8章文本分類
8.1文本分類概述
8.2傳統(tǒng)分類器設(shè)計
8.2.1樸素貝葉斯分類器
8.2.2基于支持向量機的分類器
8.2.3KNN法
8.2.4線性 小二乘擬合法
8.2.5決策樹分類器
8.3基于神經(jīng)網(wǎng)絡(luò)方法
8.3.1文本分析中的循環(huán)神經(jīng)網(wǎng)絡(luò)方法
8.3.2文本分析中的遞歸神經(jīng)網(wǎng)絡(luò)方法
8.4文本分類性能評測
思考題
參考文獻
第9章情感計算
9.1文檔或句子級情感計算方法
9.1.1情感詞典方法
9.1.2基于傳統(tǒng)機器學習的監(jiān)督情感分類
9.1.3深度神經(jīng)網(wǎng)絡(luò)方法
9.2屬性級情感分析
9.2.1意見挖掘和屬性抽取
9.2.2針對特定目標的情感分析
9.2.3立場檢測
9.3其他情感分析任務(wù)
9.3.1諷刺識別
9.3.2多模態(tài)情感分析
思考題
參考文獻
0章知識抽取
10.1知識抽取概述
10.2命名實體識別
10.2.1命名實體識別概述
10.2.2基于詞典及規(guī)則的方法
10.2.3基于機器學習的有監(jiān)督方法
10.2.4基于深度學習的方法
10.3實體鏈接
10.3.1實體鏈接概述
10.3.2通用解決框架
10.3.3實體鏈接數(shù)據(jù)集
10.4關(guān)系抽取
10.4.1關(guān)系抽取概述
10.4.2有監(jiān)督關(guān)系抽取
10.4.3遠程監(jiān)督
10.4.4實體關(guān)系聯(lián)合抽取
10.4.5小樣本關(guān)系抽取
10.4.6開放域關(guān)系抽取
10.5事件抽取
10.5.1事件抽取概述
10.5.2基于模式匹配的方法
10.5.3基于機器學習的方法
10.5.4基于深度學習的方法
10.5.5事件抽取數(shù)據(jù)集
思考題
參考文獻
1章統(tǒng)計機器翻譯和神經(jīng)機器翻譯
11.1機器翻譯概述
11.1.1機器翻譯的發(fā)展
11.1.2機器翻譯方法
11.1.3機器翻譯研究現(xiàn)狀
11.2基于HMM的詞對位模型
11.3基于短語的翻譯模型
11.4基于 熵的翻譯模型
11.4.1對位模板與 近似
11.4.2特征函數(shù)
11.4.3參數(shù)訓練
11.5基于層次短語的翻譯模型
11.5.1概述
11.5.2模型描述和參數(shù)訓練
11.5.3解碼方法
11.6樹翻譯模型
11.6.1樹到串的翻譯模型
11.6.2樹到樹的翻譯模型
11.6.3串到樹的翻譯模型
11.7樹模型的相關(guān)改進
11.8基于謂詞論元結(jié)構(gòu)轉(zhuǎn)換的翻譯模型
11.9集外詞翻譯
11.9.1數(shù)字和時間表示的識別與翻譯
11.9.2普通集外詞的翻譯
11.10統(tǒng)計翻譯系統(tǒng)實現(xiàn)
11.11譯文質(zhì)量評估方法
11.11.1概述
11.11.2技術(shù)指標
11.11.3相關(guān)評測
思考題
參考文獻
2章問答系統(tǒng)與多輪對話
12.1引言
12.1.1什么是問答系統(tǒng)
12.1.2從問答到對話的擴展
12.2 代：基于模板規(guī)則的問答系統(tǒng)
12.3第二代：基于信息檢索的問答系統(tǒng)
12.3.1問題理解
12.3.2答案檢索
12.4第三代：基于數(shù)據(jù)庫的問答系統(tǒng)
12.4.1問題理解
12.4.2數(shù)據(jù)庫的涌現(xiàn)
12.4.3FAQ問答系統(tǒng)
12.4.4特定領(lǐng)域問答系統(tǒng)（任務(wù)型）
12.4.5閱讀理解型問答系統(tǒng)
12.5第四代：基于知識庫的問答系統(tǒng)
12.5.1知識庫
12.5.2語義分析范式
12.5.3信息提取范式
12.5.4對比信息提取范式與語義分析范式
12.5.5數(shù)據(jù)集
12.6多模態(tài)問答系統(tǒng)
12.6.1多模態(tài)任務(wù)概述
12.6.2視覺問答系統(tǒng)
12.6.3視頻問答系統(tǒng)
12.7多輪對話系統(tǒng)與大語言模型
12.7.1多輪對話系統(tǒng)組成
12.7.2對話理解
12.7.3對話管理
12.7.4基于大語言模型的對話系統(tǒng)
12.8前景與挑戰(zhàn)
思考題
參考文獻
3章基于深度學習的社會計算
13.1基于深度學習的社會聯(lián)系模型
13.1.1基于淺層嵌入的模型
13.1.2基于深度神經(jīng)網(wǎng)絡(luò)的模型
13.2基于深度學習的 系統(tǒng)
13.2.1社交媒體中的 系統(tǒng)
13.2.2基于淺層嵌入的 模型
13.2.3基于深度神經(jīng)網(wǎng)絡(luò)的 模型
思考題
參考文獻
4章自動文摘與信息抽取
14.1自動文摘技術(shù)概要
14.2抽取式自動文摘
14.2.1句子重要性評估
14.2.2基于約束的摘要生成方法
14.3壓縮式自動文摘
14.3.1句子壓縮方法
14.3.2基于句子壓縮的自動文摘
14.4生成式自動文摘
14.5基于查詢的自動文摘
14.5.1基于語言模型的相關(guān)性計算方法
14.5.2基于關(guān)鍵詞重合度的相關(guān)性計算方法
14.5.3基于圖模型的相關(guān)性計算方法
14.6跨語言和多語言自動文摘
14.6.1跨語言自動文摘
14.6.2多語言自動文摘
14.7摘要質(zhì)量評估方法和相關(guān)評測
14.7.1摘要質(zhì)量評估方法
14.7.2相關(guān)評測活動
思考題
參考文獻
5章內(nèi)容生成和跨模態(tài)計算
15.1自然語言生成和圖像描述
15.1.1自然語言生成
15.1.2圖像中的自然語言描述示例
15.1.3圖像描述技術(shù)
15.2圖像描述的深度學習框架
15.2.1端到端框架
15.2.2組合框架
15.2.3其他框架
15.3評估指標和基準
思考題
參考文獻
6章深度學 下自然語言處理的前沿研究
16.1組合型泛化
16.2自然語言處理中的無監(jiān)督學習
16.3自然語言處理中的強化學習
16.4自然語言處理中的元學習
16.5弱可解釋性與強可解釋性
思考題
參考文獻