自然語(yǔ)言處理原理與應(yīng)用

部分 理論基礎(chǔ)
第1章 緒論
1.1 基本概念
1.2 自然語(yǔ)言處理的產(chǎn)生與發(fā)展
1.3 基本問(wèn)題和主要困難
1.3.1 自然語(yǔ)言處理的基本問(wèn)題
1.3.2 自然語(yǔ)言處理面對(duì)的主要困難
1.4 深度學(xué)習(xí)在自然語(yǔ)言處理中的應(yīng)用
1.4.1 深度學(xué)習(xí)概述
1.4.2 面向自然語(yǔ)言處理的深度學(xué)習(xí)方法
1.4.3 目前深度學(xué)習(xí)應(yīng)用存在的局限及展望
1.5 本章小結(jié)
習(xí)題1
第2章 數(shù)學(xué)基礎(chǔ)
2.1 概率論基礎(chǔ)
2.1.1 樣本空間和概率
2.1.2 隨機(jī)變量
2.1.3 條件概率公式、全概率公式和貝葉斯公式
2.1.4 期望和方差
2.2 信息論基礎(chǔ)
2.2.1 自信息和熵
2.2.2 聯(lián)合熵和條件熵
2.2.3 互信息、相對(duì)熵和交叉熵
2.2.4 困惑度
2.2.5 噪聲信道模型
2.3 深度學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)
2.3.1 似然估計(jì)
2.3.2 梯度分析
2.3.3 梯度下降法
2.3.4 梯度消失和梯度
2.4 本章小結(jié)
習(xí)題2
第3章 語(yǔ)言模型
3.1 語(yǔ)言模型概念及基礎(chǔ)理論
3.1.1 n元語(yǔ)法模型
3.1.2 神經(jīng)概率語(yǔ)言模型
3.1.3 預(yù)訓(xùn)練語(yǔ)言模型
3.2 語(yǔ)言模型性能評(píng)價(jià)
3.2.1 基于信息熵的語(yǔ)言模型復(fù)雜度度量
3.2.2 基于困惑度的語(yǔ)言模型復(fù)雜度度量
3.2.3 基于語(yǔ)言模型的漢語(yǔ)信息熵估算
3.3 數(shù)據(jù)平滑
3.3.1 問(wèn)題的提出
3.3.2 加法平滑方法
3.3.3 Good-Turing估計(jì)法
3.3.4 Katz平滑方法
3.3.5 Jelinek-Mercer平滑方法
3.3.6 Witten-Bell平滑方法
3.3.7 減值法
3.4 神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型