基于深度學習的自然語言處理

譯者序
前言
第1章　自然語言處理 1
1.1　本章概覽 1
1.2　自然語言處理的基礎知識 1
1.3　自然語言處理的能力 3
1.4　自然語言處理中的應用 4
1.4.1　文本預處理 5
1.4.2　文本預處理技術 6
1.5　詞嵌入 13
1.6　本章小結 22
第2章　自然語言處理的應用 23
2.1　本章概覽 23
2.2　詞性標注 24
2.2.1　詞性 24
2.2.2　詞性標注器 25
2.3　詞性標注的應用 27
2.4　分塊 33
2.5　加縫 35
2.6　命名實體識別 37
2.6.1　命名實體 37
2.6.2　命名實體識別器 38
2.6.3　命名實體識別的應用 38
2.6.4　命名實體識別器類型 39
2.7　本章小結 43
第3章　神經(jīng)網(wǎng)絡 44
3.1　本章概覽 44
3.1.1　深度學習簡介 44
3.1.2　機器學習與深度學習的比較 45
3.2　神經(jīng)網(wǎng)絡 46
3.3　訓練神經(jīng)網(wǎng)絡 50
3.3.1　計算權重 51
3.3.2　損失函數(shù) 52
3.3.3　梯度下降算法 53
3.3.4　反向傳播 56
3.4　神經(jīng)網(wǎng)絡的設計及其應用 57
3.4.1　有監(jiān)督神經(jīng)網(wǎng)絡 57
3.4.2　無監(jiān)督神經(jīng)網(wǎng)絡 57
3.5　部署模型即服務的基礎 60
3.6　本章小結 62
第4章　卷積神經(jīng)網(wǎng)絡 63
4.1　本章概覽 63
4.2　理解CNN的架構 65
4.2.1　特征提取 66
4.2.2　隨機失活 68
4.2.3　卷積神經(jīng)網(wǎng)絡的分類 69
4.3　訓練CNN 71
4.4　CNN的應用領域 77
4.5　本章小結 80
第5章　循環(huán)神經(jīng)網(wǎng)絡 81
5.1　本章概覽 81
5.2　神經(jīng)網(wǎng)絡的早期版本 82
5.3　RNN 84
5.3.1　RNN架構 87
5.3.2　BPTT 88
5.4　更新和梯度流 90
5.4.1　調(diào)整權重矩陣Wy 90
5.4.2　調(diào)整權重矩陣Ws 90
5.4.3　關于更新Wx 92
5.5　梯度 94
5.5.1　梯度爆炸 94
5.5.2　梯度消失 94
5.5.3　Keras實現(xiàn)RNN 95
5.5.4　有狀態(tài)與無狀態(tài) 99
5.6　本章小結 102
第6章　門控循環(huán)單元 103
6.1　本章概覽 103
6.2　簡單RNN的缺點 104
6.3　門控循環(huán)單元 106
6.3.1　門的類型 108
6.3.2　更新門 108
6.3.3　重置門 110
6.3.4　候選激活函數(shù) 111
6.3.5　GRU變體 113
6.4　基于GRU的情感分析 114
6.5　本章小結 123
第7章　長短期記憶網(wǎng)絡 124
7.1　本章概覽 124
7.1.1　LSTM 124
7.1.2　遺忘門 126
7.2　輸入門和候選單元狀態(tài) 128
7.3　輸出門和當前激活 132
7.4　神經(jīng)語言翻譯 139
7.5　本章小結 150
第8章　自然語言處理前沿 151
8.1　本章概覽 151
8.1.1　注意力機制 152
8.1.2　注意力機制模型 153
8.1.3　使用注意力機制的數(shù)據(jù)標準化 154
8.1.4　編碼器 155
8.1.5　解碼器 155
8.1.6　注意力機制 155
8.1.7　α的計算 156
8.2　其他架構和發(fā)展狀況 167
8.2.1　transformer 168
8.2.2　BERT 168
8.2.3　Open AI GPT-2 168
8.3　本章小結 169
第9章　組織中的實際NLP項目工作流 170
9.1　本章概覽 170
9.1.1　機器學習產(chǎn)品開發(fā)的一般工作流 170
9.1.2　演示工作流 171
9.1.3　研究工作流 171
9.1.4　面向生產(chǎn)的工作流 172
9.2　問題定義 173
9.3　數(shù)據(jù)采集 173
9.4　谷歌Colab 174
9.5　Flask 180
9.6　部署 182
9.6.1　對Flask網(wǎng)絡應用程序進行更改 183
9.6.2　使用Docker將Flask網(wǎng)絡應用程序包裝到容器中 183
9.6.3　將容器托管在亞馬遜網(wǎng)絡服務EC2實例上 185
9.6.4　改進 190
9.7　本章小結 190
附錄 191