遷移學(xué)習(xí)基礎(chǔ)及應(yīng)用

第1 章　 緒論………………………………………………………………………………… 001
　 1. 1　 機器學(xué)習(xí)概述 ………………………………………………………………………… 001
　 　 1. 1. 1　 機器學(xué)習(xí)的主要步驟 …………………………………………………………… 001
　 　 1. 1. 2　 機器學(xué)習(xí)的分類 ………………………………………………………………… 003
　 1. 2　 遷移學(xué)習(xí)的基本概念 ………………………………………………………………… 005
　 　 1. 2. 1　 遷移學(xué)習(xí)的定義 ………………………………………………………………… 005
　 　 1. 2. 2　 域和任務(wù) ………………………………………………………………………… 007
　 　 1. 2. 3　 遷移學(xué)習(xí)的數(shù)學(xué)表示 …………………………………………………………… 008
　 　 1. 2. 4　 遷移學(xué)習(xí)的基礎(chǔ)研究問題 ……………………………………………………… 009
　 1. 3　 遷移學(xué)習(xí)方法的分類 ………………………………………………………………… 010
　 　 1. 3. 1　 根據(jù)目標(biāo)域中所包含的有標(biāo)簽數(shù)據(jù)情況分類 ………………………………… 010
　 　 1. 3. 2　 根據(jù)源域與目標(biāo)域的數(shù)據(jù)和任務(wù)的不同分類 ………………………………… 011
　 　 1. 3. 3　 根據(jù)源域與目標(biāo)域的特征空間或標(biāo)簽是否同構(gòu)分類 ………………………… 014
　 　 1. 3. 4　 遷移學(xué)習(xí)方法的總結(jié)分類 ……………………………………………………… 014
　 1. 4　 遷移學(xué)習(xí)的發(fā)展歷史 ………………………………………………………………… 016
　 1. 5　 其他學(xué)習(xí)方法 ………………………………………………………………………… 017
　 　 1. 5. 1　 主動學(xué)習(xí) ………………………………………………………………………… 017
　 　 1. 5. 2　 在線學(xué)習(xí) ………………………………………………………………………… 018
　 　 1. 5. 3　 度量學(xué)習(xí) ………………………………………………………………………… 019
　 　 1. 5. 4　 深度遷移學(xué)習(xí) …………………………………………………………………… 020
　 　 1. 5. 5　 強化學(xué)習(xí) ………………………………………………………………………… 024
　 參考文獻……………………………………………………………………………………… 025
第2 章　 基礎(chǔ)知識 ………………………………………………………………………… 032
　 2. 1　 矩陣分析 ……………………………………………………………………………… 032
　 　 2. 1. 1　 基本概念 ………………………………………………………………………… 032
　 　 2. 1. 2　 矩陣分解 ………………………………………………………………………… 036
　 2. 2　 概率論 ………………………………………………………………………………… 039
　 　 2. 2. 1　 隨機變量 ………………………………………………………………………… 039
　 　 2. 2. 2　 概率分布 ………………………………………………………………………… 039
　 　 2. 2. 3　 隨機變量的數(shù)字特征 …………………………………………………………… 041
　 2. 3　 化方法 …………………………………………………………………………… 042
　 　 2. 3. 1　 梯度下降法 ……………………………………………………………………… 043
　 　 2. 3. 2　 牛頓法 …………………………………………………………………………… 044
　 　 2. 3. 3　 擬牛頓法 ………………………………………………………………………… 045
　 2. 4　 神經(jīng)網(wǎng)絡(luò) ……………………………………………………………………………… 046
　 　 2. 4. 1　 神經(jīng)元模型 ……………………………………………………………………… 046
　 　 2. 4. 2　 單層感知器 ……………………………………………………………………… 048
　 　 2. 4. 3　 多層感知器 ……………………………………………………………………… 049
　 2. 5　 支持向量機 …………………………………………………………………………… 053
　 　 2. 5. 1　 線性 SVM ………………………………………………………………………… 053
　 　 2. 5. 2　 非線性 SVM ……………………………………………………………………… 056
　 參考文獻……………………………………………………………………………………… 057
第3 章　 遷移學(xué)習(xí)基本方法 ……………………………………………………………… 059
　 3. 1　 基于樣本遷移學(xué)習(xí) …………………………………………………………………… 059
　 　 3. 1. 1　 基于樣本遷移基本思想 ………………………………………………………… 059
　 　 3. 1. 2　 基于樣本遷移經(jīng)典方法 ………………………………………………………… 060
　 3. 2　 基于特征遷移學(xué)習(xí) …………………………………………………………………… 067
　 　 3. 2. 1　 基于特征遷移基本思想 ………………………………………………………… 067
　 　 3. 2. 2　 基于特征遷移經(jīng)典方法 ………………………………………………………… 067
　 3. 3　 基于模型遷移學(xué)習(xí) …………………………………………………………………… 072
　 　 3. 3. 1　 基于模型遷移基本思想 ………………………………………………………… 072
　 　 3. 3. 2　 基于模型遷移經(jīng)典方法 ………………………………………………………… 072
　 3. 4　 基于關(guān)系遷移學(xué)習(xí) …………………………………………………………………… 078
　 　 3. 4. 1　 基于關(guān)系遷移基本思想 ………………………………………………………… 078
　 　 3. 4. 2　 基于關(guān)系遷移經(jīng)典方法 ………………………………………………………… 078
　 3. 5　 異構(gòu)遷移學(xué)習(xí) ………………………………………………………………………… 080
　 　 3. 5. 1　 同構(gòu)遷移 ………………………………………………………………………… 080
　 　 3. 5. 2　 異構(gòu)遷移 ………………………………………………………………………… 080
　 參考文獻……………………………………………………………………………………… 082
第4 章　 深度遷移學(xué)習(xí) …………………………………………………………………… 085
　 4. 1　 深度神經(jīng)網(wǎng)絡(luò)基礎(chǔ) …………………………………………………………………… 085
　 　 4. 1. 1　 卷積神經(jīng)網(wǎng)絡(luò) …………………………………………………………………… 085
　 　 4. 1. 2　 生成對抗網(wǎng)絡(luò) …………………………………………………………………… 092
　 　 4. 1. 3　 網(wǎng)絡(luò)優(yōu)化 ………………………………………………………………………… 095
　 4. 2　 深度神經(jīng)網(wǎng)絡(luò)微調(diào)遷移 ……………………………………………………………… 099
　 　 4. 2. 1　 網(wǎng)絡(luò)微調(diào)基本思想 ……………………………………………………………… 099
　 　 4. 2. 2　 網(wǎng)絡(luò)微調(diào)經(jīng)典方法 ……………………………………………………………… 099
　 　 4. 2. 3　 網(wǎng)絡(luò)微調(diào)性能分析 ……………………………………………………………… 106
　 4. 3　 深度神經(jīng)網(wǎng)絡(luò)自適應(yīng)遷移 …………………………………………………………… 108
　 　 4. 3. 1　 網(wǎng)絡(luò)自適應(yīng)遷移基本思想 ……………………………………………………… 108
　 　 4. 3. 2　 網(wǎng)絡(luò)自適應(yīng)遷移經(jīng)典方法 ……………………………………………………… 108
　 　 4. 3. 3　 網(wǎng)絡(luò)自適應(yīng)遷移性能分析 ……………………………………………………… 112
　 4. 4　 深度神經(jīng)網(wǎng)絡(luò)對抗遷移 ……………………………………………………………… 114
　 　 4. 4. 1　 網(wǎng)絡(luò)對抗遷移基本思想 ………………………………………………………… 114
　 　 4. 4. 2　 對抗遷移經(jīng)典方法 ……………………………………………………………… 115
　 　 4. 4. 3　 網(wǎng)絡(luò)對抗遷移性能分析 ………………………………………………………… 124
　 參考文獻……………………………………………………………………………………… 126
第5 章　 其他遷移學(xué)習(xí) …………………………………………………………………… 131
　 5. 1　 部分域適應(yīng) …………………………………………………………………………… 131
　 　 5. 1. 1　 部分域適應(yīng)基本思想 …………………………………………………………… 131
　 　 5. 1. 2　 部分域適應(yīng)經(jīng)典方法 …………………………………………………………… 132
　 　 5. 1. 3　 性能分析 ………………………………………………………………………… 140
　 5. 2　 開集域適應(yīng) …………………………………………………………………………… 143
　 　 5. 2. 1　 開集域適應(yīng)基本思想 …………………………………………………………… 144
　 　 5. 2. 2　 開集域適應(yīng)經(jīng)典方法 …………………………………………………………… 145
　 　 5. 2. 3　 性能分析 ………………………………………………………………………… 150
　 參考文獻……………………………………………………………………………………… 152
第6 章　 遷移學(xué)習(xí)在動作識別中的應(yīng)用 ……………………………………………… 155
　 6. 1　 動作識別介紹 ………………………………………………………………………… 155
　 6. 2　 動作識別基本方法 …………………………………………………………………… 155
　 　 6. 2. 1　 動作特征提取 …………………………………………………………………… 155
　 　 6. 2. 2　 動作分類 ………………………………………………………………………… 158
　 　 6. 2. 3　 動作識別深度模型 ……………………………………………………………… 159
　 6. 3　 遷移學(xué)習(xí)動作識別 …………………………………………………………………… 162
　 　 6. 3. 1　 自適應(yīng)多核學(xué)習(xí)動作識別 ……………………………………………………… 163
　 　 6. 3. 2　 多語義分組域適應(yīng)動作識別 …………………………………………………… 166
　 　 6. 3. 3　 生成對抗學(xué)習(xí)動作識別 ………………………………………………………… 175
　 參考文獻……………………………………………………………………………………… 183
第7 章　 遷移學(xué)習(xí)在目標(biāo)檢測中的應(yīng)用 ……………………………………………… 190
　 7. 1　 目標(biāo)檢測介紹 ………………………………………………………………………… 190
　 7. 2　 目標(biāo)檢測經(jīng)典方法 …………………………………………………………………… 191
　 7. 3　 遷移學(xué)習(xí)目標(biāo)檢測方法 ……………………………………………………………… 194
　 　 7. 3. 1　 域適應(yīng)目標(biāo)檢測 ………………………………………………………………… 194
　 　 7. 3. 2　 漸進域適應(yīng)弱監(jiān)督目標(biāo)檢測 …………………………………………………… 196
　 7. 4　 常用數(shù)據(jù)集 …………………………………………………………………………… 198
　 　 7. 4. 1　 PASCAL VOC 數(shù)據(jù)集 …………………………………………………………… 198
　 　 7. 4. 2　 Cityscapes 數(shù)據(jù)集和 Foggy Cityscapes 數(shù)據(jù)集 ………………………………… 200
　 　 7. 4. 3　 Clipart1k 數(shù)據(jù)集 ………………………………………………………………… 202
　 　 7. 4. 4　 KITTI 數(shù)據(jù)集 …………………………………………………………………… 203
　 　 7. 4. 5　 SIM 系列數(shù)據(jù)集 ………………………………………………………………… 205
　 　 7. 4. 6　 目標(biāo)檢測評價指標(biāo) ……………………………………………………………… 205
　 7. 5　 方法性能分析 ………………………………………………………………………… 206
　 　 7. 5. 1　 域適應(yīng)目標(biāo)檢測結(jié)果 …………………………………………………………… 206
　 　 7. 5. 2　 漸進域適應(yīng)弱監(jiān)督目標(biāo)檢測結(jié)果 ……………………………………………… 207
　 參考文獻……………………………………………………………………………………… 208
第8 章　 遷移學(xué)習(xí)在語義分割中的應(yīng)用 ……………………………………………… 211
　 8. 1　 語義分割介紹 ………………………………………………………………………… 211
　 8. 2　 語義分割經(jīng)典方法 …………………………………………………………………… 212
　 8. 3　 遷移學(xué)習(xí)的語義分割方法 …………………………………………………………… 213
　 　 8. 3. 1　 基于全局和局部對齊的域適應(yīng)語義分割 ……………………………………… 214
　 　 8. 3. 2　 雙向?qū)W習(xí)的域適應(yīng)語義分割 …………………………………………………… 216
　 8. 4　 常用數(shù)據(jù)集 …………………………………………………………………………… 219
　 　 8. 4. 1　 GTA5 數(shù)據(jù)集……………………………………………………………………… 219
　 　 8. 4. 2　 SYNTHIA 數(shù)據(jù)集 ………………………………………………………………… 220
　 　 8. 4. 3　 語義分割評價指標(biāo) ……………………………………………………………… 221
　 8. 5　 方法性能分析 ………………………………………………………………………… 222
　 　 8. 5. 1　 基于全局和局部對齊的域適應(yīng)語義分割方法結(jié)果 …………………………… 222
　 　 8. 5. 2　 雙向?qū)W習(xí)的域適應(yīng)語義分割方法結(jié)果 ………………………………………… 225