機器學(xué)習：基于約束的方法

譯者序
前言
練習說明
第1章整體情況
11為什么機器需要學(xué)習
111學(xué)習任務(wù)
112環(huán)境的符號和子符號表示
113生物和人工神經(jīng)網(wǎng)絡(luò)
114學(xué)習的協(xié)議
115基于約束的學(xué)習
12原則和實踐
121歸納的令人困惑的本質(zhì)
122學(xué)習原則
123時間在學(xué)習過程中的作用
124注意力機制的聚焦
13實踐經(jīng)驗
131度量實驗的成功
132手寫字符識別
133建立機器學(xué)習實驗
134試驗和實驗備注
14機器學(xué)習面臨的挑戰(zhàn)
141學(xué)習觀察
142語言理解
143生活在自己環(huán)境中的代理
15注釋
第2章學(xué)習原則
21環(huán)境約束
211損失函數(shù)與風險函數(shù)
212約束引發(fā)的風險函數(shù)的病態(tài)
213風險最小化
214偏差——方差困境
22統(tǒng)計學(xué)習
221最大似然估計
222貝葉斯推理
223貝葉斯學(xué)習
224圖形模式
225頻率論和貝葉斯方法
23基于信息的學(xué)習
231一個啟發(fā)性的示例
232最大熵原理
233最大相互信息
24簡約原則下的學(xué)習
241簡約原則
242最小描述長度
243MDL與正則化
244正則化的統(tǒng)計解釋
25注釋
第3章線性閾值機
31線性機
311正規(guī)方程
312待定問題和廣義逆
313嶺回歸
314原始表示和對偶表示
32包含閾值單元的線性機
321謂詞階數(shù)和表示性問題
322線性可分示例的最優(yōu)性
323無法分離的線性可分
33統(tǒng)計視圖
331貝葉斯決策和線性判別分析
332邏輯回歸
333符合貝葉斯決策的獨立原則
334統(tǒng)計框架中的LMS
34算法問題
341梯度下降
342隨機梯度下降
343感知機算法
344復(fù)雜性問題
35注釋
第4章核方法
41特征空間
411多項式預(yù)處理
412布爾富集
413不變的特征匹配
414高維空間中的線性可分性
42最大邊際問題
421線性可分下的分類
422處理軟約束問題
423回歸
43核函數(shù)
431相似性與核技巧
432內(nèi)核表征
433再生核映射
434內(nèi)核類型
44正則化
441正則化的風險
442在RKHS上的正則化
443最小化正則化風險
444正則化算子
45注釋
第5章深層結(jié)構(gòu)
51結(jié)構(gòu)性問題
511有向圖及前饋神經(jīng)網(wǎng)絡(luò)
512深層路徑
513從深層結(jié)構(gòu)到松弛結(jié)構(gòu)
514分類器、回歸器和自動編碼器
52布爾函數(shù)的實現(xiàn)
521“與或”門的典型實現(xiàn)
522通用的“與非”實現(xiàn)
523淺層與深層實現(xiàn)
524基于LTU的實現(xiàn)和復(fù)雜性問題
53實值函數(shù)實現(xiàn)
531基于幾何的計算實現(xiàn)
532通用近似
533解空間及分離表面
534深層網(wǎng)絡(luò)和表征問題
54卷積網(wǎng)絡(luò)
541內(nèi)核、卷積和感受野
542合并不變性
543深度卷積網(wǎng)絡(luò)
55前饋神經(jīng)網(wǎng)絡(luò)上的學(xué)習
551監(jiān)督學(xué)習
552反向傳播
553符號微分以及自動求導(dǎo)法則
554正則化問題
56復(fù)雜度問題
561關(guān)于局部最小值的問題
562面臨飽和
563復(fù)雜性與數(shù)值問題
57注釋
第6章約束下的學(xué)習與推理
61約束機
611學(xué)習和推理
612約束環(huán)境的統(tǒng)一視圖
613學(xué)習任務(wù)的函數(shù)表示
614約束下的推理
62環(huán)境中的邏輯約束
621形式邏輯與推理的復(fù)雜度
622含符號和子符號的環(huán)境
623t范數(shù)
624ukasiewicz命題邏輯
63擴散機
631數(shù)據(jù)模型
632時空環(huán)境中的擴散
633循環(huán)神經(jīng)網(wǎng)絡(luò)
64算法問題
641基于內(nèi)容的逐點約束
642輸入空間中的命題約束
643線性約束的監(jiān)督學(xué)習
644擴散約束下的學(xué)習
65終身學(xué)習代理
651認知行為及時間流動
652能量平衡
653焦點關(guān)注、教學(xué)及主動學(xué)習
654發(fā)展學(xué)習
66注釋
第7章結(jié)語
第8章練習答案
附錄A有限維的約束優(yōu)化
附錄B正則算子
附錄C變分計算
附錄D符號索引