高斯過程機器學習及其工程應(yīng)用

目錄
前言
第1章 緒論 1
1.1 研究背景 1
1.2 機器學習研究現(xiàn)狀 2
1.2.1 機器學習發(fā)展歷程 2
1.2.2 典型機器學習方法研究 3
1.3 本書內(nèi)容安排 5
參考文獻 6
第2章 高斯過程回歸 10
2.1 引言 10
2.2 基礎(chǔ)理論知識 10
2.2.1 概率統(tǒng)計基礎(chǔ)知識 10
2.2.2 隨機過程 13
2.2.3 貝葉斯定理 15
2.2.4 *大似然估計 15
2.2.5 貝葉斯估計 16
2.2.6 核函數(shù)方法 18
2.3 回歸分析的基本理論 20
2.3.1 回歸分析模型 20
2.3.2 模型的評估策略 21
2.3.3 風險*小化原則 22
2.3.4 模型復(fù)雜度影響 23
2.3.5 模型選擇方法 25
2.3.6 統(tǒng)計決策理論 26
2.4 常用線性回歸分析方法 27
2.4.1 線性回歸模型 27
2.4.2 *小二乘回歸 28
2.4.3 *大后驗(MAP) 回歸 30
2.4.4 貝葉斯線性回歸 31
2.4.5 小結(jié) 36
2.5 高斯過程回歸的基本理論 36
2.5.1 基于權(quán)重空間觀點的原理解釋 37
2.5.2 基于函數(shù)空間觀點的原理解釋 40
2.5.3 *優(yōu)超參數(shù)的自適應(yīng)獲取 45
2.5.4 高斯過程回歸計算復(fù)雜度 47
2.5.5 主要特性分析 48
2.6 高斯過程回歸的協(xié)方差函數(shù) 50
2.6.1 常用的協(xié)方差函數(shù) 50
2.6.2 不同協(xié)方差函數(shù)回歸特性比較 52
2.7 高斯過程回歸的算法實現(xiàn) 54
2.7.1 算法實現(xiàn)步驟 54
2.7.2 算法程序 55
2.7.3 算例分析 55
2.8 高斯過程與人工神經(jīng)網(wǎng)絡(luò)？支持向量機的關(guān)系 57
2.9 高斯過程回歸的性能測試 58
2.9.1 算例1 58
2.9.2 算例2 64
2.9.3 算例3 65
2.10 本章小結(jié) 66
參考文獻 67
第3章 高斯過程分類 69
3.1 引言 69
3.2 分類問題的基本理論 69
3.2.1 分類問題概述 69
3.2.2 分類問題的不同策略 70
3.3 高斯過程分類的基本理論 73
3.3.1 GPC 的基本原理 73
3.3.2 Laplace 近似方法 76
3.3.3 Expectation Propagation (EP) 近似方法 78
3.3.4 兩種近似方法比較 81
3.4 算法實現(xiàn) 82
3.5 性能測試 83
參考文獻 88
第4章 基于高斯過程回歸的邊坡位移時間序列預(yù)測 89
4.1 引言 89
4.2 基于高斯過程回歸的時間序列預(yù)測方法 90
4.2.1 方法的實現(xiàn)步驟 90
4.2.2 預(yù)測結(jié)果的評價指標 91
4.2.3 方法驗證 93
4.3 邊坡實測位移時間序列的高斯過程回歸預(yù)測 99
4.3.1 三峽永久船閘邊坡位移時間序列預(yù)測 99
4.3.2 臥龍寺新滑坡位移時間序列預(yù)測 103
4.3.3 龍灘進水口邊坡位移時間序列預(yù)測 107
4.4 基于高斯過程回歸的邊坡位移時間序列預(yù)測的不確定性分析 109
4.4.1 時間序列預(yù)測值的不確定性分析 109
4.4.2 工程實例 111
4.5 本章小結(jié) 119
參考文獻 119
第5章 基于高斯過程的地下工程圍巖非線性行為預(yù)測與識別 122
5.1 引言 122
5.2 地下工程初始地應(yīng)力預(yù)測 123
5.2.1 地下工程地應(yīng)力預(yù)測的GPR 模型 123
5.2.2 工程實例分析 124
5.3 地下工程圍巖非線性變形時間序列預(yù)測 126
5.3.1 圍巖變形時間序列預(yù)測的GPR 模型 126
5.3.2 工程實例分析 127
5.4 地下工程圍巖光面爆破效果預(yù)測 131
5.4.1 隧道施工光面爆破效果預(yù)測的GPR 模型 132
5.4.2 工程實例分析 132
5.5 地下工程巖爆災(zāi)害等級識別 134
5.5.1 巖爆等級識別的GPC 模型 135
5.5.2 工程實例分析 136
5.6 地下工程圍巖分類識別 141
5.6.1 隧洞圍巖分類的GPC 模型 141
5.6.2 工程實例分析 142
5.7 地下工程圍巖穩(wěn)定性識別 144
5.7.1 地下工程圍巖穩(wěn)定性識別的GPC 模型 145
5.7.2 工程實例分析 145
5.8 本章小結(jié) 147
參考文獻 147
第6章 高斯過程在水利工程中的應(yīng)用 150
6.1 引言 150
6.2 邊坡穩(wěn)定性快速估計 150
6.2.1 邊坡安全系數(shù)估計 151
6.2.2 邊坡穩(wěn)定狀態(tài)識別 154
6.3 水庫水溫分布結(jié)構(gòu)識別 157
6.4 地下水位預(yù)測 160
6.5 年徑流預(yù)測 163
6.6 溢流壩挑流沖刷深度估計 165
6.7 本章小結(jié) 168
參考文獻 168
第7章 工程結(jié)構(gòu)可靠度分析的高斯過程動態(tài)響應(yīng)面法 170
7.1 結(jié)構(gòu)可靠度分析簡介 170
7.1.1 結(jié)構(gòu)可靠度的基本概念 170
7.1.2 結(jié)構(gòu)可靠度分析方法綜述 172
7.1.3 當前復(fù)雜工程結(jié)構(gòu)可靠度分析方法存在的主要問題 175
7.2 基于高斯過程回歸動態(tài)響應(yīng)面的一次二階矩法 176
7.2.1 一次二階矩法 176
7.2.2 GPR-basedFORM 法 179
7.2.3 數(shù)學算例 181
7.2.4 結(jié)構(gòu)算例 186
7.2.5 參數(shù)敏感性分析 193
7.2.6 小結(jié) 195
7.3 基于高斯過程回歸動態(tài)響應(yīng)面的二次二階矩法 195
7.3.1 二次二階矩法 195
7.3.2 GPR-basedSORM 法 196
7.3.3 數(shù)學算例 197
7.3.4 結(jié)構(gòu)算例 202
7.3.5 小結(jié) 207
7.4 基于高斯過程回歸動態(tài)響應(yīng)面的重要抽樣方法 207
7.4.1 重要抽樣法 207
7.4.2 GPR-basedISM 法 208
7.4.3 數(shù)學算例 208
7.4.4 結(jié)構(gòu)算例 212
7.4.5 方法的參數(shù)敏感性分析 218
7.4.6 小結(jié) 219
7.5 基于高斯過程回歸動態(tài)響應(yīng)面的蒙特卡羅模擬法 219
7.5.1 蒙特卡羅模擬法 220
7.5.2 基本思路 220
7.5.3 關(guān)鍵技術(shù) 221
7.5.4 實現(xiàn)步驟 223
7.5.5 數(shù)學算例 224
7.5.6 結(jié)構(gòu)算例 230
7.5.7 小結(jié) 231
7.6 基于高斯過程回歸動態(tài)響應(yīng)面的粒子群優(yōu)化法 231
7.6.1 基本思路 232
7.6.2 關(guān)鍵技術(shù) 233
7.6.3 實現(xiàn)步驟 234
7.6.4 數(shù)學算例 235
7.6.5 結(jié)構(gòu)算例 239
7.6.6 小結(jié) 239
參考文獻 240
第8章 粒子群-高斯過程協(xié)同優(yōu)化算法及其在工程結(jié)構(gòu)優(yōu)化設(shè)計中的應(yīng)用 243
8.1 引言 243
8.2 高計算代價結(jié)構(gòu)優(yōu)化設(shè)計問題的求解策略 244
8.3 粒子群優(yōu)化算法 246
8.3.1 基本原理 246
8.3.2 實現(xiàn)步驟 248
8.3.3 性能測試 248
8.4 牛頓法 250
8.4.1 基本原理 250
8.4.2 實現(xiàn)步驟 251
8.4.3 簡單算例 251
8.5 粒子群-高斯過程協(xié)同優(yōu)化算法 252
8.5.1 基本原理 252
8.5.2 實現(xiàn)步驟 254
8.5.3 性能測試 256
8.6 結(jié)構(gòu)優(yōu)化設(shè)計的粒子群-高斯過程協(xié)同優(yōu)化方法 259
8.6.1 結(jié)構(gòu)優(yōu)化設(shè)計的數(shù)學模型 259
8.6.2 PSO-GPR-FEM 法 261
8.7 結(jié)構(gòu)優(yōu)化設(shè)計實例 262
8.7.1 平面10 桿桁架結(jié)構(gòu)優(yōu)化 262
8.7.2 空間25 桿桁架結(jié)構(gòu)優(yōu)化 264
8.7.3 地震作用下鋼筋混凝土框架結(jié)構(gòu)優(yōu)化設(shè)計 266
8.8 本章小結(jié) 270
參考文獻 270
附錄A 273
A.1 函數(shù)和集合的凸性質(zhì) 273
A.2 多維高斯分布相關(guān)性質(zhì) 273
A.3 實對稱矩陣的特征分解 274
A.4 多維高斯分布的樣本函數(shù)曲線 274
A.5 矩陣求導 275
A.6 矩陣求逆 276