基于Python的強化學(xué)習(xí)

目錄
前言
部分　算法與環(huán)境
第1章　強化學(xué)習(xí)概貌 2
1.1　強化學(xué)習(xí)導(dǎo)論 3
1.1.1　比較強化學(xué)習(xí)和監(jiān)督學(xué)習(xí) 4
1.1.2　強化學(xué)習(xí)的歷史 5
1.1.3　深度強化學(xué)習(xí) 6
1.2　強化學(xué)習(xí)的要素 7
1.2.1　策略 8
1.2.2　值函數(shù) 9
1.2.3　回報（獎勵） 10
1.2.4　模型 11
1.3　強化學(xué)習(xí)的應(yīng)用 11
1.3.1　游戲 11
1.3.2　機器人與工業(yè)4.0 12
1.3.3　機器學(xué)習(xí) 12
1.3.4　經(jīng)濟學(xué)與金融 13
1.3.5　醫(yī)療健康 13
1.3.6　智能交通系統(tǒng) 13
1.3.7　能源優(yōu)化與智能電網(wǎng) 13
1.4　本章小結(jié) 13
1.5  思考題 14
1.6  延伸閱讀 14
第2章　強化學(xué)習(xí)過程與OpenAI Gym 15
2.1　環(huán)境設(shè)置 15
2.1.1　安裝OpenAI Gym 16
2.1.2　安裝Roboschool 17
2.2　OpenAI Gym和強化學(xué)習(xí)過程 17
2.2.1　開發(fā)強化學(xué)習(xí)過程 18
2.2.2　了解空間概念 21
2.3　利用TesorFlow開發(fā)強化學(xué)習(xí)模型 22
2.3.1　張量 24
2.3.2　創(chuàng)建計算圖 27
2.3.3　線性回歸示例 28
2.4　TensorBoard介紹 32
2.5　強化學(xué)習(xí)環(huán)境 34
2.5.1　為什么需要不同的環(huán)境 35
2.5.2　開源環(huán)境 35
2.6　本章小結(jié) 37
2.7  思考題 37
2.8  延伸閱讀 38
第3章　基于動態(tài)規(guī)劃的問題求解 39
3.1　馬爾可夫決策過程 39
3.1.1　策略 41
3.1.2　回報 41
3.1.3　值函數(shù) 42
3.1.4　貝爾曼方程 43
3.2　強化學(xué)習(xí)算法的類別 43
3.2.1　無模型算法 44
3.2.2　基于模型的強化學(xué)習(xí) 45
3.2.3　算法多樣性 46
3.3　動態(tài)規(guī)劃 46
3.3.1　策略評價與策略改進 47
3.3.2　策略迭代 48
3.3.3　值迭代 52
3.4　本章小結(jié) 55
3.5  思考題 55
3.6  延伸閱讀 56
第二部分　無模型強化學(xué)習(xí)算法
第4章　Q-learning與SARSA的應(yīng)用 58
4.1　無模型學(xué)習(xí) 58
4.1.1　已有經(jīng)驗 59
4.1.2　策略評價 59
4.1.3　探索問題 60
4.2　時間差分學(xué)習(xí) 60
4.2.1　時間差分更新 61
4.2.2　策略改進 61
4.2.3　比較蒙特卡羅和時間差分方法 62
4.3　SARSA 62
4.3.1　SARSA介紹 62
4.3.2　算法 62
4.4　應(yīng)用SARSA解決Taxi-v2問題 63
4.5　Q-learning 69
4.5.1　理論 69
4.5.2　算法 70
4.6　應(yīng)用Q-learning解決Taxi-v2問題 71
4.7　比較SARSA和Q-learning 74
4.8　本章小結(jié) 74
4.9  思考題 75
第5章　深度Q神經(jīng)網(wǎng)絡(luò) 76
5.1　深度神經(jīng)網(wǎng)絡(luò)與Q-learning 76
5.1.1　函數(shù)逼近 77
5.1.2　利用神經(jīng)網(wǎng)絡(luò)的Q-learning 77
5.1.3　深度Q-learning的不穩(wěn)定性 78
5.2　DQN 79
5.2.1　解決方案 80
5.2.2　DQN算法 80
5.2.3　模型架構(gòu) 82
5.3　用于Pong的DQN 83
5.3.1　雅達利游戲 84
5.3.2　預(yù)處理流程 84
5.3.3　DQN實現(xiàn) 87
5.3.4　結(jié)果 96
5.4　DQN變種 98
5.4.1　DDQN 98
5.4.2　競爭DQN 101
5.4.3　n步DQN 103
5.5　本章小結(jié) 104
5.6  思考題 105
5.7  延伸閱讀 105
第6章　隨機策略梯度優(yōu)化 106
6.1　策略梯度方法 106
6.1.1　策略的梯度 107
6.1.2　策略梯度定理 108
6.1.3　梯度的計算 109
6.1.4　策略 109
6.1.5　在線策略梯度 111
6.2　了解REINFORCE算法 111
6.2.1　REINFORCE的實現(xiàn) 113
6.2.2　利用REINFORCE實現(xiàn)航天器著陸 117
6.3　帶基線的REINFORCE算法 119
6.3.1　帶基線的REINFORCE算法的原理 119
6.3.2　帶基線的REINFORCE算法的實現(xiàn) 121
6.4　學(xué)習(xí)AC算法 122
6.4.1　讓評判者幫助行動者學(xué)習(xí) 122
6.4.2　n步AC模型 123
6.4.3　AC算法的實現(xiàn) 124
6.4.4　用AC算法實現(xiàn)航天器著陸 127
6.4.5　高級AC算法以及提示和技巧 128
6.5　本章小結(jié) 129
6.6  思考題 129
6.7  延伸閱讀 129
第7章　信賴域策略優(yōu)化和近端策略優(yōu)化 130
7.1　Roboschool 130
7.1.1　Roboschool介紹 130
7.1.2　連續(xù)系統(tǒng)的控制 131
7.2　自然策略梯度 134
7.2.1　自然策略梯度的直觀理解 134
7.2.2　數(shù)學(xué)知識基礎(chǔ) 136
7.2.3　自然梯度的計算復(fù)雜性 137
7.3　信賴域策略優(yōu)化 138
7.3.1　TRPO算法 138
7.3.2　TRPO算法的實現(xiàn) 141
7.3.3　TRPO的應(yīng)用 147
7.4　近端策略優(yōu)化 148
7.4.1　PPO簡述 149
7.4.2　PPO算法 149
7.4.3　TRPO算法的實現(xiàn) 150
7.4.4　PPO的應(yīng)用 154
7.5　本章小結(jié) 155
7.6  思考題 155
7.7  延伸閱讀 156
第8章　確定性策略梯度方法 157
8.1　策略梯度優(yōu)化與Q-learning的結(jié)合 157
8.1.1　兩類算法的優(yōu)缺點 157
8.1.2　確定性策略梯度 158
8.2　深度確定性策略梯度 160
8.2.1　DDPG算法 161
8.2.2　DDPG算法的實現(xiàn) 163
8.2.3　DDPG應(yīng)用于BipedalWalker-v2 167
8.3　雙延遲深度確定性策略梯度 168
8.3.1　高估偏差問題 169
8.3.2　方差抑制問題 171
8.3.3　TD3應(yīng)用于BipedalWalker 174
8.4　本章小結(jié) 175
8.5  思考題 176
8.6  延伸閱讀 176
第三部分　超越無模型算法
第9章　基于模型的強化學(xué)習(xí) 178
9.1　基于模型的方法 178
9.1.1　基于模型的學(xué)習(xí)概述 179
9.1.2　基于模型的方法的優(yōu)缺點 182
9.2　基于模型的學(xué)習(xí)與無模型學(xué)習(xí)的結(jié)合 183
9.2.1　有用的結(jié)合 183
9.2.2　利用圖像構(gòu)建模型 184
9.3　用于倒立擺的ME-TRPO 185
9.3.1　了解ME-TRPO 186
9.3.2　ME-TRPO的實現(xiàn) 187
9.3.3　RoboSchool實驗 191
9.4　本章小結(jié) 193
9.5  思考題 194
9.6  延伸閱讀 194
第10章　模仿學(xué)習(xí)與DAgger算法 195
10.1　技術(shù)要求 195
10.2　模仿學(xué)習(xí) 196
10.2.1　駕駛助手示例 197
10.2.2　模仿學(xué)習(xí)與強化學(xué)習(xí)對比 198
10.2.3　模仿學(xué)習(xí)中的專家作用 199
10.2.4　模仿學(xué)習(xí)的結(jié)構(gòu) 199
10.3　Flappy Bird游戲 201
10.3.1　Flappy Bird介紹 201
10.3.2　如何利用環(huán)境 201
10.4　理解數(shù)據(jù)集聚合算法 202
10.4.1　DAgger算法 203
10.4.2　Dagger算法實現(xiàn) 204
10.4.3　Flappy Bird游戲結(jié)果分析 209
10.5　反向強化學(xué)習(xí) 210
10.6　本章小結(jié) 210
10.7  思考題 211
10.8  延伸閱讀 211
第11章　黑盒優(yōu)化算法 212
11.1　超越強化學(xué)習(xí) 212
11.1.1　強化學(xué)習(xí)簡要回顧 212
11.1.2　替代方法 213
11.2　進化算法的核心 214
11.2.1　遺傳算法 216
11.2.2　進化策略 217
11.3　可擴展的進化策略 218
11.3.1　核心思想 219
11.3.2　可擴展進化策略的實現(xiàn) 220
11.4　應(yīng)用于LunarLander的可擴展進化策略 226
11.5　本章小結(jié) 227
11.6  思考題 228
11.7  延伸閱讀 228
第12章　開發(fā)ESBAS算法 229
12.1　探索與利用 229
12.1.1　探索與利用介紹 229
12.1.2　多臂老虎機 231
12.2　探索的方法 232
12.2.1　?貪婪策略 232
12.2.2　UCB算法 233
12.2.3　探索的復(fù)雜性 234
12.3　ESBAS 235
12.3.1　拆箱算法選擇 235
12.3.2　ESBAS介紹 236
12.3.3　算法實現(xiàn) 237
12.3.4　解決Acrobot問題 241
12.4　本章小結(jié) 244
12.5  思考題 244
12.6  延伸閱讀 245
第13章　應(yīng)對強化學(xué)習(xí)挑戰(zhàn)的實踐 246
13.1　深度強化學(xué)習(xí)的實踐 246
13.1.1　選擇合適的算法 247
13.1.2　從0到1 248
13.2　深度強化學(xué)習(xí)的挑戰(zhàn) 250
13.2.1　穩(wěn)定性與可重現(xiàn)性 250
13.2.2　效率 251
13.2.3　泛化 251
13.3　先進技術(shù) 252
13.3.1　無監(jiān)督強化學(xué)習(xí) 252
13.3.2　遷移學(xué)習(xí) 253
13.4　現(xiàn)實世界中的強化學(xué)習(xí) 255
13.4.1　現(xiàn)實挑戰(zhàn) 256
13.4.2　彌合模擬與現(xiàn)實世界的差距 257
13.4.3　創(chuàng)建專有環(huán)境 257
13.5　強化學(xué)習(xí)的未來及其社會影響 258
13.6　本章小結(jié) 258
13.7  思考題 259
13.8  延伸閱讀 259
附錄  思考題參考答案 260