網(wǎng)絡文本分類與應用

第1章  緒論 1

1.1  智能語言處理 1

1.1.1  NLP與文本處理 1

1.1.2  文本信息抽取 3

1.2  網(wǎng)絡文本分類應用 6

1.2.1  常見的應用領域 6

1.2.2  相關技術領域 11

1.3  文本分類步驟 15

1.3.1  文本預處理 15

1.3.2  文本分詞 18

1.3.3  特征選擇 18

1.3.4  數(shù)值化表示 19

1.3.5  分類器分類 21

1.4  本章小結 27

第2章  文本預處理 28

2.1  預處理環(huán)節(jié) 28

2.1.1  標記化 28

2.1.2  規(guī)范化 29

2.2  分詞技術應用 33

2.2.1  常見應用領域 33

2.2.2  應用中涉及的主要問題 36

2.3  中文分詞方法 40

2.3.1  基于詞典匹配的分詞 40

2.3.2  基于統(tǒng)計的序列標注技術 43

2.3.3  基于深度學習的分詞 53

2.4  分詞工具 54

2.4.1  Python中文分詞工具 54

2.4.2  java中文分詞工具 55

2.5  本章小結 57

第3章  特征表示與降維 58

3.1  文本表示模型 58

3.1.1  One-hot獨熱模型 58

3.1.2  向量空間模型 59

3.1.3  主題模型 60

3.1.4  神經(jīng)網(wǎng)絡語言模型 67

3.2  特征空間降維 78

3.2.1  特征選擇 79

3.2.2  特征提取 83

3.3  小結 85