Python語言數(shù)據(jù)分析

上篇 語言數(shù)據(jù)分析基礎(chǔ)
第1章 語言數(shù)據(jù)結(jié)構(gòu)
1.1 一維數(shù)據(jù)結(jié)構(gòu)
1.1.1 單詞列表
1.1.2 術(shù)語列表
1.1.3 句子列表
1.1.4 段落列表
1.1.5 語篇列表
1.1.6 其他一維數(shù)據(jù)結(jié)構(gòu)
1.2 二維數(shù)據(jù)結(jié)構(gòu)
1.2.1 字典結(jié)構(gòu)
1.2.2 元組列表結(jié)構(gòu)
1.2.3 二維數(shù)據(jù)的遍歷
1.3 多維數(shù)據(jù)結(jié)構(gòu)
1.3.1 元組字典結(jié)構(gòu)
1.3.2 列表元組列表結(jié)構(gòu)
1.3.3 Brown語料庫詞性標(biāo)記訓(xùn)練集
1.4 數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換
1.4.1 多連詞的轉(zhuǎn)換
1.4.2 矩陣結(jié)構(gòu)的轉(zhuǎn)換
1.4.3 spaCy列表到NLTK列表的轉(zhuǎn)換
第2章 語言數(shù)據(jù)清洗
2.1 Python數(shù)據(jù)清洗方法
2.1.1 無效字符清除方法
2.1.2 字符判斷方法
2.1.3 替換方法
2.1.4 標(biāo)點(diǎn)符號(hào)清除方法
2.1.5 停用詞方法
2.2 無效信息的清洗
2.2.1 何為無效信息
2.2.2 新聞文本的語言數(shù)據(jù)清洗
2.2.3 中文動(dòng)詞的清洗
2.3 有效信息的清洗
2.3.1 何為有效信息
2.3.2 英文動(dòng)詞詞組的清洗
2.3.3 詞形還原法
2.3.4 特征值清洗
第3章 語言數(shù)據(jù)可視化
3.1 數(shù)字結(jié)果可視化
3.1.1 語篇詞匯密度分布及其柱狀圖可視化
3.1.2 作業(yè)分?jǐn)?shù)統(tǒng)計(jì)及其正態(tài)分布擬合可視化
3.1.3 語篇詞長分布及其折線圖可視化
3.1.4 信息貢獻(xiàn)度分布對(duì)比及其散點(diǎn)圖可視化
3.1.5 語篇長句界定及其句長分布可視化
3.2 文字結(jié)果可視化
3.2.1 詞匯相似性及其相關(guān)矩陣可視化
3.2.2 主題詞凸顯及其分布式可視化
3.2.3 評(píng)價(jià)語句的相似性及其聚類可視化
3.2.4 語篇語義分析及其語義網(wǎng)絡(luò)可視化
第4章 數(shù)據(jù)分析可選方法
4.1 Python+Excel應(yīng)用
4.1.1 長句文字內(nèi)容和句長分布
4.1.2 上下文關(guān)鍵詞呈現(xiàn)
4.1.3 多文本對(duì)比呈現(xiàn)
4.1.4 過程prdndas數(shù)據(jù)結(jié)構(gòu)呈現(xiàn)
4.2 正則表達(dá)式方法
4.2.1 概述
4.2.2 案例1——首字母為元音的單詞提取
4.2.3 案例2——主題詞L5R5搭配提取
4.3 文本分類方法
4.3.1 以關(guān)鍵詞實(shí)現(xiàn)大文本分類
4.3.2 以情感極性實(shí)現(xiàn)小文本分類
4.3.3 樸素貝葉斯分類法
4.4 語言數(shù)據(jù)檢驗(yàn)
下篇 語言數(shù)據(jù)分析理論與應(yīng)用
第5章 短語學(xué)及其計(jì)算語言學(xué)方法
5.1 短語學(xué)與計(jì)算語言學(xué)
5.1.1 語料庫與短語學(xué)
5.1.2 計(jì)算語言學(xué)
5.1.3 基于意義單位的研究
5.1.4 短語學(xué)技術(shù)應(yīng)用
5.2 短語數(shù)據(jù)處理工具
5.2.1 全額提取方法
5.2.2 分類提取方法
5.3 短語學(xué)分析路徑
5.3.1 學(xué)術(shù)文本模糊短語的弱化表述手段
5.3.2 話語分析及其ngrms()短語數(shù)據(jù)清洗
5.3.3 多詞術(shù)語的結(jié)構(gòu)語義消歧
第6章 情感分析理論、方法與路徑
6.1 情感分析與接受度定位
6.1.1 情感與情感分析
6.1.2 國際關(guān)系領(lǐng)域
6.1.3 市場營銷領(lǐng)域
6.1.4 教育領(lǐng)域
6.1.5 應(yīng)用與不足
6.2 情感分析工具
6.2.1 中文類工具
6.2.2 英文類工具
6.2.3 混合類工具——樸素貝葉斯分類法
6.3 情感分析路徑
6.3.1 情感分析與傳統(tǒng)民意調(diào)查比較
6.3.2 基于文本情感分析的商品評(píng)價(jià)
6.3.3 樸素貝葉斯分類法與情感分析
6.3.4 擇校行為影響因素與情感分類
第7章 相似性度量理論與應(yīng)用
7.1 相似性度量與文本分析
7.1.1 基于語義信息的相似性
7.1.2 三個(gè)層級(jí)的度量路徑
7.1.3 文本數(shù)據(jù)和知識(shí)庫
7.2 相似性度量工具
7.2.1 詞匯相似性度量
7.2.2 句子相似性度量
7.2.3 語篇相似性度量
7.3 文本相似性分析路徑
7.3.1 多譯本相似性度量
7.3.2 著作權(quán)法／版權(quán)法概念copyright及其搭配的相似性
7.3.3 語料庫的平衡性問題
第8章 語義分析與文本探究
8.1 語義分析與相關(guān)模型
8.1.1 語義遷移與分布式詞向量
8.1.2 語義主題詞與信息貢獻(xiàn)度
8.1.3 語義關(guān)系與語義網(wǎng)
8.1.4 文本語義與語義網(wǎng)絡(luò)分析
8.2 語義分析工具
8.2.1 詞向量(詞嵌入)模型
8.2.2 語義網(wǎng)資源
8.2.3 spaCy方法
8.2.4 向量模型
8.3 文本語義分析路徑
8.3.1 著作權(quán)法／版權(quán)法概念copyright詞向量關(guān)聯(lián)性
8.3.2 語義遷移描述與代碼融合
8.3.3 漢英法律語義檢索詞典構(gòu)建
第9章 主題建模與文本主題
9.1 主題建模中的主題挖掘
9.1.1 語料庫主題概述
9.1.2 主題建模方法論啟示
9.1.3 歷時(shí)性文本主題
9.1.4 共時(shí)性文本主題
9.1.5 討論與總結(jié)
9.2 主題建模工具
9.2.1 Gensim主題建模方法
9.2.2 Sklearn主題建模方法
9.2.3 中文主題模型方法
9.3 主題建模實(shí)現(xiàn)路徑
9.3.1 話語分析中