模式分類

出版者的話
專家指導(dǎo)委員會
譯者序
前言
第1章緒論
1.1 機(jī)器感知
1.2 一個例子
1.3 模式識別系統(tǒng)
1.3.1 傳感器
1.3.2 分割和組織
1.3.3 特征提取
1.3.4 分類器
1.3.5 后處理
1.4 設(shè)計(jì)循環(huán)
1.4.1 數(shù)據(jù)采集
1.4.2 特征選擇
1.4.3 模型選擇
1.4.4 訓(xùn)練
1.4.5 評價
1.4.6 計(jì)算復(fù)雜度
1.5 學(xué)習(xí)和適應(yīng)
1.5.1 有監(jiān)督學(xué)習(xí)
1.5.2 無監(jiān)督學(xué)習(xí)
1.5.3 強(qiáng)化學(xué)習(xí)
1.6 本章小結(jié)
全書各章概要
文獻(xiàn)和歷史評述
參考文獻(xiàn)
第2章貝葉斯決策論
2.1 引言
2.2 貝葉斯決策論--連續(xù)特征
2.3 最小誤差率分類
*2.3.1 極小化極大準(zhǔn)則
*2.3.2 Neyman-Pearson準(zhǔn)則
2.4 分類器.判別函數(shù)及判定面
2.4.1 多類情況
2.4.2 兩類情況
2.5 正態(tài)密度
2.5.1 單變量密度函數(shù)
2.5.2 多元密度函數(shù)
2.6 正態(tài)分布的判別函數(shù)
2.6.1 情況1：∑i＝I
2.6.2 情況2：∑i＝∑
2.6.3 情況3：∑i=任意
*2.7 誤差概率和誤差積分
*2.8 正態(tài)密度的誤差上界
2.8.1 Chernoff界
2.8.2 Bhattacharyya界
2.8.3 信號檢測理論和操作特性
2.9 貝葉斯決策論--離散特征
2.9.1 獨(dú)立的二值特征
*2.10 丟失特征和噪聲特征
2.10.1 丟失特征
2.10.2 噪聲特征
*2.11 貝葉斯置信網(wǎng)
*2.12 復(fù)合貝葉斯決策論及上下文
本章小結(jié)
文獻(xiàn)和歷史評述
習(xí)題
上機(jī)練習(xí)
參考文獻(xiàn)
第3章最大似然估計(jì)和貝葉斯參數(shù)估計(jì)
3.1 引言
3.2 最大似然估計(jì)
3.2.1 基本原理
3.2.2 高斯情況：u未知
3.2.3 高斯情況：u和∑均未知
3.2.4 估計(jì)的偏差
3.3 貝葉斯估計(jì)
3.3.1 類條件密度
3.3.2 參數(shù)的分布
3.4 貝葉斯參數(shù)估計(jì)：高斯情況
3.4.1 單變量情況：p(u｜D)
3.4.2 單變量情況：p(x｜D)
3.4.3 多變量情況
3.5 貝葉斯參數(shù)估計(jì)：一般理論
3.5.1 最大似然方法和貝葉斯方法何時有區(qū)別
3.5.2 無信息先驗(yàn)和不變性
3.5.3 吉布斯算法
*3.6 充分統(tǒng)計(jì)量
3.7 維數(shù)問題
3.7.1 精度、維數(shù)和訓(xùn)練集的大小
3.7.2 計(jì)算復(fù)雜度
3.7.3 過擬合
*3.8 成分分析和判別函數(shù)
3.8.1 主成分分析
3.8.2 Fisher線性判別分析
3.8.3 多重判別分析
*3.9 期望最大化算法
3.10 隱馬爾可夫模型
3.10.1 一階馬爾可夫模型
3.10.2 一階隱馬爾可夫模型
3.10.3 隱馬爾可夫模型的計(jì)算
3.10.4 估值問題
3.10.5 解碼問題
3.10.6 學(xué)習(xí)問題
本章小結(jié)
文獻(xiàn)和歷史評述
習(xí)題
上機(jī)練習(xí)
參考文獻(xiàn)
第4章非參數(shù)技術(shù)
4.1 引言
4.2 概率密度的估計(jì)
4.3 Parzen窗方法
4.3.1 均值的收斂性
4.3.2 方差的收斂性
4.3.3 舉例說明
4.3.4 分類的例子
4.3.5 概率神經(jīng)網(wǎng)絡(luò)
4.3.6 窗函數(shù)的選取
4.4 kn-近鄰估計(jì)
4.4.1 kn-近鄰估計(jì)和Parzen窗估計(jì)
4.4.2 后驗(yàn)概率的估計(jì)
4.5 最近鄰規(guī)則
4.5.1 最近鄰規(guī)則的收斂性
4.5.2 最近鄰規(guī)則的誤差率
4.5.3 誤差界
4.5.4 k-近鄰規(guī)則
4.5.5 k-近鄰規(guī)則的計(jì)算復(fù)雜度
4.6 距離度量和最近鄰分類
4.6.1 度量的性質(zhì)
4.6.2 切空間距離
*4.7 模糊分類
*4.8 RCE網(wǎng)絡(luò)
4.9 級數(shù)展開逼近
本章小結(jié)
文獻(xiàn)和歷史評述
習(xí)題
上機(jī)練習(xí)
參考文獻(xiàn)
第5章線性判別函數(shù)
5.1 引言
5.2 線性判別函數(shù)和判定面
5.2.1 兩類情況
5.2.2 多類的情況
5.3 廣義線性判別函數(shù)
5.4 兩類線性可分的情況
5.4.1 幾何解釋和術(shù)語
5.4.2 梯度下降算法
5.5 感知器準(zhǔn)則函數(shù)最小化
5.5.1 感知器準(zhǔn)則函數(shù)
5.5.2 單個樣本校正的收斂性證明
5.5.3 一些直接的推廣
5.6 松弛算法
5.6.1 下降算法
5.6.2 收斂性證明
5.7 不可分的情況
5.8 最小平方誤差方法
5.8.1 最小平方誤差及偽逆
5.8.2 與Fisher線性判別的關(guān)系
5.8.3 最優(yōu)判別的漸近逼近
5.8.4 Widrow-Hoff算法或最小均方算法
5.8.5 隨機(jī)逼近法
5.9 Ho-Kashyap算法
5.9.1 下降算法
5.9.2 收斂性證明
5.9.3 不可分的情況
5.9.4 一些相關(guān)的算法
*5.10 線性規(guī)劃算法
5.10.1 線性規(guī)劃
5.10.2 線性可分情況
5.10.3 極小化感知器準(zhǔn)則函數(shù)
*5.11 支持向量機(jī)
5.12 推廣到多類問題
5.12.1 Kesler構(gòu)造法
5.12.2 固定增量規(guī)則的收斂性
5.12.3 MSE算法的推廣
本章小結(jié)
文獻(xiàn)和歷史評述
習(xí)題
上機(jī)練習(xí)
參考文獻(xiàn)
第6章多層神經(jīng)網(wǎng)絡(luò)
6.1 引言
6.2 前饋運(yùn)算和分類
6.2.1 一般的前饋運(yùn)算
6.2.2 多層網(wǎng)絡(luò)的表達(dá)能力
6.3 反向傳播算法
6.3.1 網(wǎng)絡(luò)學(xué)習(xí)
6.3.2 訓(xùn)練協(xié)議
6.3.3 學(xué)習(xí)曲線
6.4 誤差曲面
6.4.1 一些小型網(wǎng)絡(luò)
6.4.2 異或(XOR)問題
6.4.3 較大型的網(wǎng)絡(luò)
6.4.4 關(guān)于多重極小
6.5 反向傳播作為特征映射
6.5.1 隱含層的內(nèi)部表示--權(quán)值
6.6 反向傳播、貝葉斯理論及概率
6.6.1 貝葉斯判別與神經(jīng)網(wǎng)絡(luò)
6.6.2 作為概率的輸出
*6.7 相關(guān)的統(tǒng)計(jì)技術(shù)
6.8 改進(jìn)反向傳播的一些實(shí)用技術(shù)
6.8.1 激活函數(shù)
6.8.2 sigmoid函數(shù)的參數(shù)
6.8.3 輸入信號尺度變換
6.8.4 目標(biāo)值
6.8.5 帶噪聲的訓(xùn)練法
6.8.6 人工“制造”數(shù)據(jù)
6.8.7 隱單元數(shù)
6.8.8 權(quán)值初始化
6.8.9 學(xué)習(xí)率
6.8.10 沖量項(xiàng)
6.8.11 權(quán)值衰減
6.8.12 線索
6.8.13 在線訓(xùn)練.隨機(jī)訓(xùn)練或成批訓(xùn)練
6.8.14 停止訓(xùn)練
6.8.15 隱含層數(shù)
6.8.16 誤差準(zhǔn)則函數(shù)
*6.9 二階技術(shù)
6.9.1 赫森矩陣
6.9.2 牛頓法
6.9.3 Quickprop算法
6.9.4 共軛梯度法
*6.10 其他網(wǎng)絡(luò)和訓(xùn)練算法
6.10.1 徑向基函數(shù)網(wǎng)絡(luò)
6.10.2 特殊的基函數(shù)
6.10.3 匹配濾波器
6.10.4 卷積網(wǎng)絡(luò)
6.10.5 遞歸網(wǎng)絡(luò)
6.10.6 級聯(lián)相關(guān)
6.11 正則化、復(fù)雜度調(diào)節(jié)和剪枝
本章小結(jié)
文獻(xiàn)和歷史評述
習(xí)題
上機(jī)練習(xí)
參考文獻(xiàn)
第7章隨機(jī)方法
7.1 引言
7.2 隨機(jī)搜索
7.2.1 模擬退火
7.2.2 Boltzmann因子
7.2.3 確定性模擬退火
7.3 Boltzmann學(xué)習(xí)
7.3.1 可見狀態(tài)的隨機(jī)Boltzmann學(xué)習(xí)
7.3.2 丟失特征和類別約束
7.3.3 確定性Boltzmann學(xué)習(xí)
7.3.4 初始化和參數(shù)設(shè)置
*7.4 Boltzmann網(wǎng)絡(luò)和圖示模型
*7.5 進(jìn)化方法
7.5.1 遺傳算法
7.5.2 其他啟發(fā)式方法
7.5.3 遺傳算法如何起作用
*7.6 遺傳規(guī)劃
本章小結(jié)
文獻(xiàn)和歷史評述
習(xí)題
上機(jī)練習(xí)
參考文獻(xiàn)
第8章非度量方法
8.1 引言
8.2 判定樹
8.3 CART
8.3.1 分支數(shù)目
8.3.2 查詢的選取與節(jié)點(diǎn)不純度
8.3.3 分支停止準(zhǔn)則
8.3.4 剪枝
8.3.5 葉節(jié)點(diǎn)的標(biāo)記
8.3.6 計(jì)算復(fù)雜度
8.3.7 特征選擇
8.3.8 多元判定樹
8.3.9 先驗(yàn)概率和代價函數(shù)
8.3.10 屬性丟失問題
8.4 其他樹方法
8.4.1 ID3
8.4.2 C4.5
8.4.3 哪種樹分類器是最優(yōu)的
*8.5 串的識別
8.5.1 串匹配
8.5.2 編輯距離
8.5.3 計(jì)算復(fù)雜度
8.5.4 容錯的串匹配
8.5.5 帶通配符的串匹配
8.6 文法方法
8.6.1 文法
8.6.2 串文法的類型
8.6.3 利用文法的識別
8.7 文法推斷
*8.8 基于規(guī)則的方法
本章小結(jié)
文獻(xiàn)和歷史評述
習(xí)題
上機(jī)練習(xí)
參考文獻(xiàn)
第9章獨(dú)立于算法的機(jī)器學(xué)習(xí)
9.1 引言
9.2 沒有天生優(yōu)越的分類器
9.2.1 沒有免費(fèi)的午餐定理
*9.2.2 丑小鴨定理
9.2.3 最小描述長度
9.2.4 最小描述長度原理
9.2.5 避免過擬合及Occam剃刀原理
9.3 偏差和方差
9.3.1 回歸中的偏差和方差關(guān)系
9.3.2 分類中的偏差和方差關(guān)系
9.4 統(tǒng)計(jì)量估計(jì)中的重采樣技術(shù)
9.4.1 刀切法(jackknife)
9.4.2 自助法(bootstrap)
9.5 分類器設(shè)計(jì)中的重采樣技術(shù)
9.5.1 bagging算法
9.5.2 boosting法
9.5.3 基于查詢的學(xué)習(xí)
9.5.4 arcing、基于查詢的學(xué)習(xí)、偏差和方差
9.6 分類器的評價和比較
9.6.1 參數(shù)模型
9.6.2 交叉驗(yàn)證
9.6.3 分類準(zhǔn)確率的“刀切法”和“自助法”估計(jì)
9.6.4 最大似然模型比較
9.6.5 貝葉斯模型比較
9.6.6 問題平均誤差率
9.6.7 從學(xué)習(xí)曲線預(yù)測最終性能
9.6.8 單個分割平面的能力
9.7 組合分類器
9.7.1 有判別函數(shù)的分量分類器
9.7.2 無判別函數(shù)的分量分類器
本章小結(jié)
文獻(xiàn)和歷史評述
習(xí)題
上機(jī)練習(xí)
參考文獻(xiàn)
第10章無監(jiān)督學(xué)習(xí)和聚類
10.1 引言
10.2 混合密度和可辨識性
10.3 最大似然估計(jì)
10.4 對混合正態(tài)密度的應(yīng)用
10.4.1 情況1：均值向量未知
10.4.2 情況2：所有參數(shù)未知
10.4.3 k-均值聚類
*10.4.4 模糊k-均值聚類
10.5 無監(jiān)督貝葉斯學(xué)習(xí)
10.5.1 貝葉斯分類器
10.5.2 參數(shù)向量的學(xué)習(xí)
10.5.3 判定導(dǎo)向的近似解
10.6 數(shù)據(jù)描述和聚類
10.7 聚類的準(zhǔn)則函數(shù)
10.7.1 誤差平方和準(zhǔn)則
10.7.2 相關(guān)的最小方差準(zhǔn)則
10.7.3 散布準(zhǔn)則
*10.8 迭代最優(yōu)化
10.9 層次聚類
10.9.1 定義
10.9.2 基于合并的層次聚類方法
10.9.3 逐步優(yōu)化的層次聚類
10.9.4 層次聚類和導(dǎo)出度量
*10.10 驗(yàn)證問題
*10.11 在線聚類
10.11.1 聚類數(shù)目未知
10.11.2 自適應(yīng)共振網(wǎng)
10.11.3 基于評判的學(xué)習(xí)
*10.12 圖論方法
10.13 成分分析
10.13.1 主成分分析
10.13.2 非線性成分分析
*10.13.3 獨(dú)立成分分析
10.14 低維數(shù)據(jù)表示和多維尺度變換
10.14.1 自組織特征映射
10.14.2 聚類與降維
本章小結(jié)
文獻(xiàn)和歷史評述
習(xí)題
上機(jī)練習(xí)
參考文獻(xiàn)
附錄A數(shù)學(xué)基礎(chǔ)
A.1 符號和記號
A.2 線性代數(shù)
A.2.1 符號和基礎(chǔ)知識
A.2.2 向量內(nèi)積
A.2.3 向量外積
A.2.4 矩陣的導(dǎo)數(shù)
A.2.5 行列式和跡
A.2.6 矩陣的逆
A.2.7 本征向量和本征值
A.3 拉格朗日乘數(shù)法
A.4 概率論
A.4.1 離散隨機(jī)變量
A.4.2 數(shù)學(xué)期望
A.4.3 成對離散隨機(jī)變量
A.4.4 統(tǒng)計(jì)獨(dú)立性
A.4.5 兩個自變量的函數(shù)的數(shù)學(xué)期望
A.4.6 條件概率
A.4.7 全概率公式和貝葉斯公式
A.4.8 隨機(jī)向量
A.4.9 期望值.均值向量和協(xié)方差矩陣
A.4.10 連續(xù)隨機(jī)變量
A.4.11 獨(dú)立隨機(jī)變量和的分布
A.4.12 正態(tài)分布
A.5 高斯函數(shù)的導(dǎo)數(shù)和積分
A.5.1 多元正態(tài)概率密度
A.5.2 二元正態(tài)分布
A.6 假設(shè)檢驗(yàn)
A.7 信息論基礎(chǔ)
A.7.1 熵和信息量
A.7.2 相對熵
A.7.3 互傳信息量
A.8 計(jì)算復(fù)雜度
文獻(xiàn)評述
參考文獻(xiàn)
索引