終身機(jī)器學(xué)習(xí)（原書(shū)第2版）

譯者序
前　言
致　謝
第1章　引言1
　1.1　傳統(tǒng)機(jī)器學(xué)習(xí)范式1
　1.2　案例3
　1.3　終身學(xué)習(xí)簡(jiǎn)史7
　1.4　終身學(xué)習(xí)的定義9
　1.5　知識(shí)類型和關(guān)鍵挑戰(zhàn)14
　1.6　評(píng)估方法和大數(shù)據(jù)的角色17
　1.7　本書(shū)大綱18
第2章　相關(guān)學(xué)習(xí)范式20
　2.1　遷移學(xué)習(xí)20
　　2.1.1　結(jié)構(gòu)對(duì)應(yīng)學(xué)習(xí)21
　　2.1.2　樸素貝葉斯遷移分類器22
　　2.1.3　遷移學(xué)習(xí)中的深度學(xué)習(xí)23
　　2.1.4　遷移學(xué)習(xí)與終身學(xué)習(xí)的區(qū)別24
　2.2　多任務(wù)學(xué)習(xí)25
　　2.2.1　多任務(wù)學(xué)習(xí)中的任務(wù)相關(guān)性25
　　2.2.2　GO-MTL：使用潛在基礎(chǔ)任務(wù)的多任務(wù)學(xué)習(xí)26
　　2.2.3　多任務(wù)學(xué)習(xí)中的深度學(xué)習(xí)28
　　2.2.4　多任務(wù)學(xué)習(xí)與終身學(xué)習(xí)的區(qū)別30
　2.3　在線學(xué)習(xí)30
　2.4　強(qiáng)化學(xué)習(xí)31
　2.5　元學(xué)習(xí)32
　2.6　小結(jié)34
第3章　終身監(jiān)督學(xué)習(xí)35
　3.1　定義和概述36
　3.2　基于記憶的終身學(xué)習(xí)37
　　3.2.1　兩個(gè)基于記憶的學(xué)習(xí)方法37
　　3.2.2　終身學(xué)習(xí)的新表達(dá)37
　3.3　終身神經(jīng)網(wǎng)絡(luò)39
　　3.3.1　MTL網(wǎng)絡(luò)39
　　3.3.2　終身EBNN40
　3.4　ELLA：高效終身學(xué)習(xí)算法41
　　3.4.1　問(wèn)題設(shè)定41
　　3.4.2　目標(biāo)函數(shù)42
　　3.4.3　解決第一個(gè)低效問(wèn)題43
　　3.4.4　解決第二個(gè)低效問(wèn)題45
　　3.4.5　主動(dòng)的任務(wù)選擇46
　3.5　終身樸素貝葉斯分類47
　　3.5.1　樸素貝葉斯文本分類47
　　3.5.2　LSC的基本思想49
　　3.5.3　LSC技術(shù)50
　　3.5.4　討論52
　3.6　基于元學(xué)習(xí)的領(lǐng)域詞嵌入52
　3.7　小結(jié)和評(píng)估數(shù)據(jù)集54
第4章　持續(xù)學(xué)習(xí)與災(zāi)難性遺忘56
　4.1　災(zāi)難性遺忘56
　4.2　神經(jīng)網(wǎng)絡(luò)中的持續(xù)學(xué)習(xí)58
　4.3　無(wú)遺忘學(xué)習(xí)61
　4.4　漸進(jìn)式神經(jīng)網(wǎng)絡(luò)62
　4.5　彈性權(quán)重合并63
　4.6　iCaRL：增量分類器與表示學(xué)習(xí)65
　　4.6.1　增量訓(xùn)練66
　　4.6.2　更新特征表示67
　　4.6.3　為新類構(gòu)建范例集68
　　4.6.4　在iCaRL中完成分類68
　4.7　專家網(wǎng)關(guān)69
　　4.7.1　自動(dòng)編碼網(wǎng)關(guān)69
　　4.7.2　測(cè)量訓(xùn)練的任務(wù)相關(guān)性70
　　4.7.3　為測(cè)試選擇最相關(guān)的專家71
　　4.7.4　基于編碼器的終身學(xué)習(xí)71
　4.8　生成式重放的持續(xù)學(xué)習(xí)72
　　4.8.1　生成式對(duì)抗網(wǎng)絡(luò)72
　　4.8.2　生成式重放73
　4.9　評(píng)估災(zāi)難性遺忘74
　4.10　小結(jié)和評(píng)估數(shù)據(jù)集75
第5章　開(kāi)放式學(xué)習(xí)79
　5.1　問(wèn)題定義和應(yīng)用80
　5.2　基于中心的相似空間學(xué)習(xí)81
　　5.2.1　逐步更新CBS學(xué)習(xí)模型82
　　5.2.2　測(cè)試CBS學(xué)習(xí)模型84
　　5.2.3　用于未知類檢測(cè)的CBS學(xué)習(xí)84
　5.3　DOC：深度開(kāi)放式分類87
　　5.3.1　前饋層和一對(duì)其余層87
　　5.3.2　降低開(kāi)放空間風(fēng)險(xiǎn)89
　　5.3.3　DOC用于圖像分類90
　　5.3.4　發(fā)現(xiàn)未知類90
　5.4　小結(jié)和評(píng)估數(shù)據(jù)集91
第6章　終身主題建模93
　6.1　終身主題建模的主要思想93
　6.2　LTM：終身主題模型97
　　6.2.1　LTM模型97
　　6.2.2　主題知識(shí)挖掘99
　　6.2.3　融合過(guò)去的知識(shí)100
　　6.2.4　Gibbs采樣器的條件分布102
　6.3　AMC：少量數(shù)據(jù)的終身主題模型102
　　6.3.1　AMC整體算法103
　　6.3.2　挖掘must-link知識(shí)104
　　6.3.3　挖掘cannot-link知識(shí)107
　　6.3.4　擴(kuò)展的Pólya甕模型108
　　6.3.5　Gibbs采樣器的采樣分布110
　6.4　小結(jié)和評(píng)估數(shù)據(jù)集112
第7章　終身信息提取114
　7.1　NELL：永不停止語(yǔ)言學(xué)習(xí)器114
　　7.1.1　NELL結(jié)構(gòu)117
　　7.1.2　NELL中的提取器與學(xué)習(xí)118
　　7.1.3　NELL中的耦合約束120
　7.2　終身評(píng)價(jià)目標(biāo)提取121
　　7.2.1　基于推薦的終身學(xué)習(xí)122
　　7.2.2　AER算法123
　　7.2.3　知識(shí)學(xué)習(xí)124
　　7.2.4　使用過(guò)去知識(shí)推薦125
　7.3　在工作中學(xué)習(xí)126
　　7.3.1　條件隨機(jī)場(chǎng)127
　　7.3.2　一般依賴特征128
　　7.3.3　L-CRF算法130
　7.4　Lifelong-RL：終身松弛標(biāo)記法131
　　7.4.1　松弛標(biāo)記法132
　　7.4.2　終身松弛標(biāo)記法133
　7.5　小結(jié)和評(píng)估數(shù)據(jù)集133
第8章　聊天機(jī)器人的持續(xù)知識(shí)學(xué)習(xí)135
　8.1　LiLi：終身交互學(xué)習(xí)與推理136
　8.2　LiLi的基本思想139
　8.3　LiLi的組件141
　8.4　運(yùn)行示例142
　8.5　小結(jié)和評(píng)估數(shù)據(jù)集142
第9章　終身強(qiáng)化學(xué)習(xí)144
　9.1　基于多環(huán)境的終身強(qiáng)化學(xué)習(xí)146
　9.2　層次貝葉斯終身強(qiáng)化學(xué)習(xí)147
　　9.2.1　動(dòng)機(jī)147
　　9.2.2　層次貝葉斯方法148
　　9.2.3　MTRL算法149
　　9.2.4　更新層次模型參數(shù)150
　　9.2.5　對(duì)MDP進(jìn)行采樣151
　9.3　PG-ELLA：終身策略梯度強(qiáng)化學(xué)習(xí)152
　　9.3.1　策略梯度強(qiáng)化學(xué)習(xí)152
　　9.3.2　策略梯度終身學(xué)習(xí)設(shè)置154
　　9.3.3　目標(biāo)函數(shù)和優(yōu)化154
　　9.3.4　終身學(xué)習(xí)的安全策略搜索156
　　9.3.5　跨領(lǐng)域終身強(qiáng)化學(xué)習(xí)156
　9.4　小結(jié)和評(píng)估數(shù)據(jù)集157
第10章　結(jié)論及未來(lái)方向159
參考文獻(xiàn)164