強化學習與最優(yōu)控制

第 1 章  精確動態(tài)規(guī)劃   1 
1.1  確定性動態(tài)規(guī)劃  1 
1.1.1  確定性問題.  1 
1.1.2  動態(tài)規(guī)劃算法 5 
1.1.3  值空間的近似 9 
1.2  隨機動態(tài)規(guī)劃  10 
1.3  例子、變形和簡化.  13 
1.3.1  確定性最短路徑問題 14 
1.3.2  確定性離散優(yōu)化問題 15 
1.3.3  含終止狀態(tài)的問題  18 
1.3.4  預報 20 
1.3.5  含不可控狀態(tài)組分的問題 21 
1.3.6  不完整的狀態(tài)信息和置信狀態(tài) 25 
1.3.7  線性二次型最優(yōu)控制 28 
1.3.8  含未知參數(shù)的系統(tǒng)——自適應(yīng)控制 30 
1.4  強化學習與最優(yōu)控制——一些術(shù)語  32 
1.5  注釋和資源 34 
第 2 章  值空間的近似  36 
2.1  強化學習中的近似方法.  36 
2.1.1  值空間近似的一般問題  39 
2.1.2  離線與在線方法 40 
2.1.3  針對前瞻最小化的基于模型的簡化 40 
2.1.4  無模型的離線 Q 因子近似 41 
2.1.5  基于值空間近似的策略空間近似  43 
2.1.6  值空間的近似何時有效  44 
2.2  多步前瞻. 45 
2.2.1  多步前瞻與滾動時域 46 
2.2.2  多步前瞻與確定性問題  47 
2.3  問題近似. 48
2.3.1  強制解耦  49 
2.3.2  隨機問題中的近似——確定性等價控制 . 54 
2.4  策略前展與策略改進原則.  58 
2.4.1  針對確定性離散優(yōu)化問題的在線策略前展  59 
2.4.2  隨機策略前展與蒙特卡洛樹搜索  68 
2.4.3  基于專家的策略前展 75 
2.5  針對確定性無窮空間問題的在線策略前展——優(yōu)化類啟發(fā)式方法 76 
2.5.1  模型預測控制  77 
2.5.2  目標管道與約束可控性條件  82 
2.5.3  模型預測控制的變形 85 
2.6  注釋與資源 86 
第 3 章  參數(shù)化近似 90 
3.1  近似架構(gòu). 90 
3.1.1  基于特征的線性與非線性參數(shù)架構(gòu) 90 
3.1.2  訓練線性與非線性架構(gòu)  95 
3.1.3  增量梯度與牛頓法  96 
3.2  神經(jīng)網(wǎng)絡(luò).  107 
3.2.1  訓練神經(jīng)網(wǎng)絡(luò).  109 
3.2.2  多層與深度神經(jīng)網(wǎng)絡(luò) 112 
3.3  連續(xù)動態(tài)規(guī)劃近似 115 
3.4  Q 因子參數(shù)化近似 116 
3.5  基于分類的策略空間參數(shù)化近似 119 
3.6  注釋與資源 122 
第 4 章  無窮階段動態(tài)規(guī)劃 124 
4.1  無窮階段問題概論 124 
4.2  隨機最短路徑問題 126 
4.3  折扣問題.  133 
4.4  半馬爾可夫折扣問題  137 
4.5  異步分布式值迭代 141 
4.6  策略迭代.  144 
4.6.1  精確策略迭代.  144 
4.6.2  樂觀與多步前瞻策略迭代 148 
4.6.3  針對 Q 因子的策略迭代 149 
4.7  注釋和資源 151 
4.8  附錄：數(shù)學分析. 152 
4.8.1  隨機最短路徑問題的相關(guān)證明 152 
4.8.2  折扣問題的相關(guān)證明 157 
4.8.3  精確與樂觀策略迭代的收斂性 157
第 5 章  無窮階段強化學習 160 
5.1  值空間近似——性能界 160 
5.1.1  有限前瞻. 162 
5.1.2  策略前展. 164 
5.1.3  近似策略迭代.  167 
5.2  擬合值迭代 169 
5.3  采用參數(shù)化近似的基于仿真的策略迭代 173 
5.3.1  自主學習與執(zhí)行–批評方法  173 
5.3.2  一種基于模型的變體 174 
5.3.3  一種無模型的變體.  176 
5.3.4  實施參數(shù)化策略迭代的挑戰(zhàn).  177 
5.3.5  近似策略迭代的收斂問題——振蕩 180 
5.4  Q 學習 183 
5.5  附加方法——時序差分 185 
5.6  精確與近似線性規(guī)劃  194 
5.7  策略空間近似.  196 
5.7.1  通過費用優(yōu)化執(zhí)行訓練——策略梯度、交叉熵以及隨機搜索方法  199 
5.7.2  基于專家的監(jiān)督學習 207 
5.7.3  近似策略迭代、策略前展與策略空間近似.  208 
5.8  注釋和資源 212 
5.9  附錄：數(shù)學分析. 216 
5.9.1  多步前瞻的性能界.  216 
5.9.2  策略前展的性能界.  218 
5.9.3  近似策略迭代的性能界.  220 
第 6 章  聚集  223 
6.1  包含代表狀態(tài)的聚集  223 
6.1.1  連續(xù)控制空間離散化 227 
6.1.2  連續(xù)狀態(tài)空間——部分可觀察馬爾可夫決策問題的離散化 228 
6.2  包含代表特征的聚集  230 
6.2.1  硬聚集與誤差界 232 
6.2.2  采用特征的聚集 234 
6.3  求解聚集問題的方法  237 
6.3.1  基于仿真的策略迭代 238 
6.3.2  基于仿真的值迭代.  240 
6.4  包含神經(jīng)網(wǎng)絡(luò)的基于特征的聚集 241 
6.5  偏心聚集.  242 
6.6  注釋和資源 244 
6.7  附錄：數(shù)學分析. 247 
參考文獻 250