模式分類

出版者的話
專家指導委員會
譯者序
前言
第1章緒論
1.1 機器感知
1.2 一個例子
1.3 模式識別系統(tǒng)
1.3.1 傳感器
1.3.2 分割和組織
1.3.3 特征提取
1.3.4 分類器
1.3.5 后處理
1.4 設計循環(huán)
1.4.1 數(shù)據(jù)采集
1.4.2 特征選擇
1.4.3 模型選擇
1.4.4 訓練
1.4.5 評價
1.4.6 計算復雜度
1.5 學習和適應
1.5.1 有監(jiān)督學習
1.5.2 無監(jiān)督學習
1.5.3 強化學習
1.6 本章小結
全書各章概要
文獻和歷史評述
參考文獻
第2章貝葉斯決策論
2.1 引言
2.2 貝葉斯決策論--連續(xù)特征
2.3 最小誤差率分類
*2.3.1 極小化極大準則
*2.3.2 Neyman-Pearson準則
2.4 分類器.判別函數(shù)及判定面
2.4.1 多類情況
2.4.2 兩類情況
2.5 正態(tài)密度
2.5.1 單變量密度函數(shù)
2.5.2 多元密度函數(shù)
2.6 正態(tài)分布的判別函數(shù)
2.6.1 情況1：∑i＝I
2.6.2 情況2：∑i＝∑
2.6.3 情況3：∑i=任意
*2.7 誤差概率和誤差積分
*2.8 正態(tài)密度的誤差上界
2.8.1 Chernoff界
2.8.2 Bhattacharyya界
2.8.3 信號檢測理論和操作特性
2.9 貝葉斯決策論--離散特征
2.9.1 獨立的二值特征
*2.10 丟失特征和噪聲特征
2.10.1 丟失特征
2.10.2 噪聲特征
*2.11 貝葉斯置信網(wǎng)
*2.12 復合貝葉斯決策論及上下文
本章小結
文獻和歷史評述
習題
上機練習
參考文獻
第3章最大似然估計和貝葉斯參數(shù)估計
3.1 引言
3.2 最大似然估計
3.2.1 基本原理
3.2.2 高斯情況：u未知
3.2.3 高斯情況：u和∑均未知
3.2.4 估計的偏差
3.3 貝葉斯估計
3.3.1 類條件密度
3.3.2 參數(shù)的分布
3.4 貝葉斯參數(shù)估計：高斯情況
3.4.1 單變量情況：p(u｜D)
3.4.2 單變量情況：p(x｜D)
3.4.3 多變量情況
3.5 貝葉斯參數(shù)估計：一般理論
3.5.1 最大似然方法和貝葉斯方法何時有區(qū)別
3.5.2 無信息先驗和不變性
3.5.3 吉布斯算法
*3.6 充分統(tǒng)計量
3.7 維數(shù)問題
3.7.1 精度、維數(shù)和訓練集的大小
3.7.2 計算復雜度
3.7.3 過擬合
*3.8 成分分析和判別函數(shù)
3.8.1 主成分分析
3.8.2 Fisher線性判別分析
3.8.3 多重判別分析
*3.9 期望最大化算法
3.10 隱馬爾可夫模型
3.10.1 一階馬爾可夫模型
3.10.2 一階隱馬爾可夫模型
3.10.3 隱馬爾可夫模型的計算
3.10.4 估值問題
3.10.5 解碼問題
3.10.6 學習問題
本章小結
文獻和歷史評述
習題
上機練習
參考文獻
第4章非參數(shù)技術
4.1 引言
4.2 概率密度的估計
4.3 Parzen窗方法
4.3.1 均值的收斂性
4.3.2 方差的收斂性
4.3.3 舉例說明
4.3.4 分類的例子
4.3.5 概率神經(jīng)網(wǎng)絡
4.3.6 窗函數(shù)的選取
4.4 kn-近鄰估計
4.4.1 kn-近鄰估計和Parzen窗估計
4.4.2 后驗概率的估計
4.5 最近鄰規(guī)則
4.5.1 最近鄰規(guī)則的收斂性
4.5.2 最近鄰規(guī)則的誤差率
4.5.3 誤差界
4.5.4 k-近鄰規(guī)則
4.5.5 k-近鄰規(guī)則的計算復雜度
4.6 距離度量和最近鄰分類
4.6.1 度量的性質(zhì)
4.6.2 切空間距離
*4.7 模糊分類
*4.8 RCE網(wǎng)絡
4.9 級數(shù)展開逼近
本章小結
文獻和歷史評述
習題
上機練習
參考文獻
第5章線性判別函數(shù)
5.1 引言
5.2 線性判別函數(shù)和判定面
5.2.1 兩類情況
5.2.2 多類的情況
5.3 廣義線性判別函數(shù)
5.4 兩類線性可分的情況
5.4.1 幾何解釋和術語
5.4.2 梯度下降算法
5.5 感知器準則函數(shù)最小化
5.5.1 感知器準則函數(shù)
5.5.2 單個樣本校正的收斂性證明
5.5.3 一些直接的推廣
5.6 松弛算法
5.6.1 下降算法
5.6.2 收斂性證明
5.7 不可分的情況
5.8 最小平方誤差方法
5.8.1 最小平方誤差及偽逆
5.8.2 與Fisher線性判別的關系
5.8.3 最優(yōu)判別的漸近逼近
5.8.4 Widrow-Hoff算法或最小均方算法
5.8.5 隨機逼近法
5.9 Ho-Kashyap算法
5.9.1 下降算法
5.9.2 收斂性證明
5.9.3 不可分的情況
5.9.4 一些相關的算法
*5.10 線性規(guī)劃算法
5.10.1 線性規(guī)劃
5.10.2 線性可分情況
5.10.3 極小化感知器準則函數(shù)
*5.11 支持向量機
5.12 推廣到多類問題
5.12.1 Kesler構造法
5.12.2 固定增量規(guī)則的收斂性
5.12.3 MSE算法的推廣
本章小結
文獻和歷史評述
習題
上機練習
參考文獻
第6章多層神經(jīng)網(wǎng)絡
6.1 引言
6.2 前饋運算和分類
6.2.1 一般的前饋運算
6.2.2 多層網(wǎng)絡的表達能力
6.3 反向傳播算法
6.3.1 網(wǎng)絡學習
6.3.2 訓練協(xié)議
6.3.3 學習曲線
6.4 誤差曲面
6.4.1 一些小型網(wǎng)絡
6.4.2 異或(XOR)問題
6.4.3 較大型的網(wǎng)絡
6.4.4 關于多重極小
6.5 反向傳播作為特征映射
6.5.1 隱含層的內(nèi)部表示--權值
6.6 反向傳播、貝葉斯理論及概率
6.6.1 貝葉斯判別與神經(jīng)網(wǎng)絡
6.6.2 作為概率的輸出
*6.7 相關的統(tǒng)計技術
6.8 改進反向傳播的一些實用技術
6.8.1 激活函數(shù)
6.8.2 sigmoid函數(shù)的參數(shù)
6.8.3 輸入信號尺度變換
6.8.4 目標值
6.8.5 帶噪聲的訓練法
6.8.6 人工“制造”數(shù)據(jù)
6.8.7 隱單元數(shù)
6.8.8 權值初始化
6.8.9 學習率
6.8.10 沖量項
6.8.11 權值衰減
6.8.12 線索
6.8.13 在線訓練.隨機訓練或成批訓練
6.8.14 停止訓練
6.8.15 隱含層數(shù)
6.8.16 誤差準則函數(shù)
*6.9 二階技術
6.9.1 赫森矩陣
6.9.2 牛頓法
6.9.3 Quickprop算法
6.9.4 共軛梯度法
*6.10 其他網(wǎng)絡和訓練算法
6.10.1 徑向基函數(shù)網(wǎng)絡
6.10.2 特殊的基函數(shù)
6.10.3 匹配濾波器
6.10.4 卷積網(wǎng)絡
6.10.5 遞歸網(wǎng)絡
6.10.6 級聯(lián)相關
6.11 正則化、復雜度調(diào)節(jié)和剪枝
本章小結
文獻和歷史評述
習題
上機練習
參考文獻
第7章隨機方法
7.1 引言
7.2 隨機搜索
7.2.1 模擬退火
7.2.2 Boltzmann因子
7.2.3 確定性模擬退火
7.3 Boltzmann學習
7.3.1 可見狀態(tài)的隨機Boltzmann學習
7.3.2 丟失特征和類別約束
7.3.3 確定性Boltzmann學習
7.3.4 初始化和參數(shù)設置
*7.4 Boltzmann網(wǎng)絡和圖示模型
*7.5 進化方法
7.5.1 遺傳算法
7.5.2 其他啟發(fā)式方法
7.5.3 遺傳算法如何起作用
*7.6 遺傳規(guī)劃
本章小結
文獻和歷史評述
習題
上機練習
參考文獻
第8章非度量方法
8.1 引言
8.2 判定樹
8.3 CART
8.3.1 分支數(shù)目
8.3.2 查詢的選取與節(jié)點不純度
8.3.3 分支停止準則
8.3.4 剪枝
8.3.5 葉節(jié)點的標記
8.3.6 計算復雜度
8.3.7 特征選擇
8.3.8 多元判定樹
8.3.9 先驗概率和代價函數(shù)
8.3.10 屬性丟失問題
8.4 其他樹方法
8.4.1 ID3
8.4.2 C4.5
8.4.3 哪種樹分類器是最優(yōu)的
*8.5 串的識別
8.5.1 串匹配
8.5.2 編輯距離
8.5.3 計算復雜度
8.5.4 容錯的串匹配
8.5.5 帶通配符的串匹配
8.6 文法方法
8.6.1 文法
8.6.2 串文法的類型
8.6.3 利用文法的識別
8.7 文法推斷
*8.8 基于規(guī)則的方法
本章小結
文獻和歷史評述
習題
上機練習
參考文獻
第9章獨立于算法的機器學習
9.1 引言
9.2 沒有天生優(yōu)越的分類器
9.2.1 沒有免費的午餐定理
*9.2.2 丑小鴨定理
9.2.3 最小描述長度
9.2.4 最小描述長度原理
9.2.5 避免過擬合及Occam剃刀原理
9.3 偏差和方差
9.3.1 回歸中的偏差和方差關系
9.3.2 分類中的偏差和方差關系
9.4 統(tǒng)計量估計中的重采樣技術
9.4.1 刀切法(jackknife)
9.4.2 自助法(bootstrap)
9.5 分類器設計中的重采樣技術
9.5.1 bagging算法
9.5.2 boosting法
9.5.3 基于查詢的學習
9.5.4 arcing、基于查詢的學習、偏差和方差
9.6 分類器的評價和比較
9.6.1 參數(shù)模型
9.6.2 交叉驗證
9.6.3 分類準確率的“刀切法”和“自助法”估計
9.6.4 最大似然模型比較
9.6.5 貝葉斯模型比較
9.6.6 問題平均誤差率
9.6.7 從學習曲線預測最終性能
9.6.8 單個分割平面的能力
9.7 組合分類器
9.7.1 有判別函數(shù)的分量分類器
9.7.2 無判別函數(shù)的分量分類器
本章小結
文獻和歷史評述
習題
上機練習
參考文獻
第10章無監(jiān)督學習和聚類
10.1 引言
10.2 混合密度和可辨識性
10.3 最大似然估計
10.4 對混合正態(tài)密度的應用
10.4.1 情況1：均值向量未知
10.4.2 情況2：所有參數(shù)未知
10.4.3 k-均值聚類
*10.4.4 模糊k-均值聚類
10.5 無監(jiān)督貝葉斯學習
10.5.1 貝葉斯分類器
10.5.2 參數(shù)向量的學習
10.5.3 判定導向的近似解
10.6 數(shù)據(jù)描述和聚類
10.7 聚類的準則函數(shù)
10.7.1 誤差平方和準則
10.7.2 相關的最小方差準則
10.7.3 散布準則
*10.8 迭代最優(yōu)化
10.9 層次聚類
10.9.1 定義
10.9.2 基于合并的層次聚類方法
10.9.3 逐步優(yōu)化的層次聚類
10.9.4 層次聚類和導出度量
*10.10 驗證問題
*10.11 在線聚類
10.11.1 聚類數(shù)目未知
10.11.2 自適應共振網(wǎng)
10.11.3 基于評判的學習
*10.12 圖論方法
10.13 成分分析
10.13.1 主成分分析
10.13.2 非線性成分分析
*10.13.3 獨立成分分析
10.14 低維數(shù)據(jù)表示和多維尺度變換
10.14.1 自組織特征映射
10.14.2 聚類與降維
本章小結
文獻和歷史評述
習題
上機練習
參考文獻
附錄A數(shù)學基礎
A.1 符號和記號
A.2 線性代數(shù)
A.2.1 符號和基礎知識
A.2.2 向量內(nèi)積
A.2.3 向量外積
A.2.4 矩陣的導數(shù)
A.2.5 行列式和跡
A.2.6 矩陣的逆
A.2.7 本征向量和本征值
A.3 拉格朗日乘數(shù)法
A.4 概率論
A.4.1 離散隨機變量
A.4.2 數(shù)學期望
A.4.3 成對離散隨機變量
A.4.4 統(tǒng)計獨立性
A.4.5 兩個自變量的函數(shù)的數(shù)學期望
A.4.6 條件概率
A.4.7 全概率公式和貝葉斯公式
A.4.8 隨機向量
A.4.9 期望值.均值向量和協(xié)方差矩陣
A.4.10 連續(xù)隨機變量
A.4.11 獨立隨機變量和的分布
A.4.12 正態(tài)分布
A.5 高斯函數(shù)的導數(shù)和積分
A.5.1 多元正態(tài)概率密度
A.5.2 二元正態(tài)分布
A.6 假設檢驗
A.7 信息論基礎
A.7.1 熵和信息量
A.7.2 相對熵
A.7.3 互傳信息量
A.8 計算復雜度
文獻評述
參考文獻
索引