Python深度強(qiáng)化學(xué)習(xí)：使用PyTorch， TensorFlow 和OpenAI Gym

第1章強(qiáng)化學(xué)習(xí)導(dǎo)論
1.1強(qiáng)化學(xué)習(xí)概述
1.2機(jī)器學(xué)習(xí)分類
1.2.1監(jiān)督學(xué)習(xí)
1.2.2無監(jiān)督學(xué)習(xí)
1.2.3強(qiáng)化學(xué)習(xí)
1.2.4核心元素
1.3基于強(qiáng)化學(xué)習(xí)的深度學(xué)習(xí)
1.4實(shí)例和案例研究
1.4.1自動(dòng)駕駛汽車
1.4.2機(jī)器人
1.4.3推薦系統(tǒng)
1.4.4金融和貿(mào)易
1.4.5醫(yī)療保健
1.4.6游戲
1.5庫與環(huán)境設(shè)置
1.6總結(jié)
第2章馬爾可夫決策
2.1強(qiáng)化學(xué)習(xí)的定義
2.2智能體和環(huán)境
2.3獎(jiǎng)勵(lì)
2.4馬爾可夫過程
2.4.1馬爾可夫鏈
2.4.2馬爾可夫獎(jiǎng)勵(lì)
過程
2.4.3馬爾可夫決策
過程
2.5策略和價(jià)值函數(shù)
2.6貝爾曼方程
2.6.1貝爾曼方程
2.6.2解決方法類型的
思維導(dǎo)圖
2.7總結(jié)
第3章基于模型的算法
3.1OpenAI Gym
3.2動(dòng)態(tài)規(guī)劃
3.3策略評估/預(yù)測
3.4策略改進(jìn)和迭代
3.5價(jià)值迭代
3.6廣義策略迭代
3.7異步回溯
3.8總結(jié)
第4章無模型方法
4.1蒙特卡洛估計(jì)/預(yù)測
4.2蒙特卡洛控制
4.3離線策略MC控制
4.4TD學(xué)習(xí)方法
4.5TD控制
4.6在線策略SARSA
4.7Q學(xué)習(xí)： 離線策略
TD控制
4.8偏差和雙重學(xué)習(xí)
4.9期望SARSA控制
4.10回放池和離線策略學(xué)習(xí)
4.11連續(xù)狀態(tài)空間的Q學(xué)習(xí)
4.12n步回報(bào)
4.13資格跡和TD(λ)
4.14DP、MC和TD之間
的關(guān)系
4.15總結(jié)
第5章函數(shù)逼近
5.1概述
5.2逼近理論
5.2.1粗編碼
5.2.2瓦片編碼
5.2.3逼近中的挑戰(zhàn)
5.3增量預(yù)測： MC、TD和
TD(λ)
5.4增量控制
5.4.1n步半梯度SARSA
控制
5.4.2半梯度SARSA(λ)
控制
5.5函數(shù)逼近的收斂性
5.6梯度時(shí)序差分學(xué)習(xí)
5.7批處理方法
5.8線性小二乘法
5.9深度學(xué)習(xí)庫
5.10總結(jié)
 
 
 
第6章深度Q學(xué)習(xí)
6.1DQN
6.2優(yōu)先回放
6.3雙Q學(xué)習(xí)
6.4競爭DQN
6.5噪聲網(wǎng)DQN
6.6C51
6.7分位數(shù)回歸DQN
6.8事后經(jīng)驗(yàn)回放
6.9總結(jié)
第7章策略梯度算法
7.1引言
7.1.1基于策略的方法的
利弊
7.1.2策略表征
7.2策略梯度推導(dǎo)
7.2.1目標(biāo)函數(shù)
7.2.2導(dǎo)數(shù)更新規(guī)則
7.2.3更新規(guī)則的運(yùn)算
原理
7.3強(qiáng)化算法
7.3.1帶獎(jiǎng)勵(lì)因子的
方差減少
7.3.2進(jìn)一步減少基線
差異
7.4演員評論家方法
7.4.1定義優(yōu)勢
7.4.2優(yōu)勢演員評論家
7.4.3A2C算法的
實(shí)現(xiàn)
7.4.4異步優(yōu)勢演員
評論家
7.5信賴域策略優(yōu)化算法
7.6近似策略優(yōu)化算法
7.7總結(jié)
第8章結(jié)合策略梯度和Q學(xué)習(xí)
8.1策略梯度與Q學(xué)習(xí)
的權(quán)衡
8.2結(jié)合策略梯度與Q學(xué)習(xí)的
一般框架
8.3深度確定性策略梯度
8.3.1Q學(xué)習(xí)在DDPG中的
應(yīng)用(評論家)
8.3.2DDPG中的策略
學(xué)習(xí)(演員)
8.3.3偽代碼和實(shí)現(xiàn)
8.3.4代碼實(shí)現(xiàn)
8.4雙延遲DDPG
8.4.1目標(biāo)策略平滑
8.4.2Q損失(評論家)
8.4.3策略損失(演員)
8.4.4延遲更新
8.4.5偽代碼和實(shí)現(xiàn)
8.4.6代碼實(shí)現(xiàn)
8.5重參數(shù)化技巧
8.5.1分?jǐn)?shù)/強(qiáng)化方法
8.5.2重參數(shù)化技巧與
路徑導(dǎo)數(shù)
8.5.3實(shí)驗(yàn)
8.6熵解釋
8.7軟演員評論家
8.7.1SAC與TD3
8.7.2熵正則化下的
Q損失
8.7.3具有重參數(shù)技巧的
策略損失
8.7.4偽代碼及其實(shí)現(xiàn)
8.7.5代碼實(shí)現(xiàn)
8.8總結(jié)
第9章綜合規(guī)劃與學(xué)習(xí)
9.1基于模型的強(qiáng)化學(xué)習(xí)
9.1.1使用學(xué)習(xí)的模型
進(jìn)行規(guī)劃
9.1.2集成學(xué)習(xí)與規(guī)劃
9.1.3Dyna Q和變化
的環(huán)境
9.1.4Dyna Q
9.1.5期望與示例更新
9.2探索vs利用
9.2.1多臂強(qiáng)盜
9.2.2后悔值： 探索質(zhì)量的
衡量標(biāo)準(zhǔn)
9.3決策時(shí)間規(guī)劃和蒙特
卡洛樹搜索
9.4AlphaGo模擬實(shí)驗(yàn)
9.5總結(jié)
第10章進(jìn)一步的探索與后續(xù)
工作
10.1基于模型的強(qiáng)化學(xué)習(xí)： 
其他方法
10.1.1世界模型
10.1.2想象力增強(qiáng)智
能體
10.1.3基于模型的強(qiáng)化
學(xué)習(xí)和無模型
微調(diào)
10.1.4基于模型的價(jià)值
擴(kuò)展
10.2模仿學(xué)習(xí)和逆強(qiáng)化
學(xué)習(xí)
10.3無導(dǎo)數(shù)方法
10.4遷移學(xué)習(xí)和多任務(wù)
學(xué)習(xí)
10.5元學(xué)習(xí)
10.6流行的強(qiáng)化學(xué)習(xí)庫
10.7如何繼續(xù)學(xué)習(xí)
10.8總結(jié)
術(shù)語