人工智能數(shù)學(xué)基礎(chǔ)

第1章 人工智能與數(shù)學(xué) 1
1．1 微積分 1
1．2 線性代數(shù) 2
1．2．1 向量和矩陣 3
1．2．2 范數(shù)和內(nèi)積 3
1．2．3 線性變換 4
1．2．4 特征值和特征向量 4
1．2．5 奇異值分解（SVD） 5
1．3 概率論 6
1．4 數(shù)理統(tǒng)計 6
1．5 最優(yōu)化理論 7
1．5．1 目標(biāo)函數(shù) 7
1．5．2 線性規(guī)劃 7
1．5．3 梯度下降法 7
習(xí)題 8
參考文獻(xiàn) 8
第2章 初等數(shù)學(xué) 9
2．1 函數(shù) 9
2．1．1 函數(shù)的概念 9
2．1．2 函數(shù)的性質(zhì) 10
2．1．3 特殊函數(shù) 11
2．1．4 復(fù)合函數(shù)和逆函數(shù) 13
2．1．5 綜合案例及應(yīng)用 14
2．2 數(shù)列 16
2．2．1 數(shù)列的概念 17
2．2．2 數(shù)列的分類 17
2．2．3 綜合案例及應(yīng)用 18
2．3 排列組合和二項(xiàng)式定理 18
2．3．1 排列 19
2．3．2 組合 19
2．3．3 二項(xiàng)式定理 20
2．3．4 綜合案例及應(yīng)用 21
2．4 集合[1] 22
2．4．1 集合的相關(guān)概念 22
2．4．2 集合關(guān)系 23
2．4．3 基數(shù) 24
2．4．4 集合運(yùn)算 25
2．4．5 綜合案例及應(yīng)用 26
2．5 實(shí)驗(yàn)：基于函數(shù)遞歸過程的功能實(shí)現(xiàn) 28
2．5．1 實(shí)驗(yàn)?zāi)康?28
2．5．2 實(shí)驗(yàn)要求 28
2．5．3 實(shí)驗(yàn)原理 28
2．5．4 實(shí)驗(yàn)步驟 28
2．5．5 實(shí)驗(yàn)結(jié)果 29
習(xí)題 29
參考文獻(xiàn) 30
第3章 微積分初步 31
3．1 極限與連續(xù)性 31
3．1．1 極限 31
3．1．2 連續(xù)性 33
3．2 導(dǎo)數(shù)與微分 34
3．2．1 導(dǎo)數(shù) 34
3．2．2 偏導(dǎo)數(shù) 39
3．2．3 梯度和方向?qū)?shù) 40
3．3 導(dǎo)數(shù)在函數(shù)性質(zhì)中的應(yīng)用 41
3．3．1 單調(diào)性 42
3．3．2 凹凸性 43
3．3．3 極值 45
3．4 一元積分學(xué) 46
3．4．1 不定積分 46
3．4．2 微分方程 47
3．4．3 定積分 47
3．5 多元積分學(xué) 48
3．5．1 二重積分的概念 49
3．5．2 二重積分的計算 49
3．6 實(shí)驗(yàn)：梯度下降法[8-9] 52
3．6．1 實(shí)驗(yàn)?zāi)康?52
3．6．2 實(shí)驗(yàn)要求 52
3．6．3 實(shí)驗(yàn)原理 52
3．6．4 實(shí)驗(yàn)步驟 53
3．6．5 實(shí)驗(yàn)結(jié)果 55
習(xí)題 55
參考文獻(xiàn) 56
第4章 線性代數(shù) 58
4．1 行列式 58
4．1．1 行列式定義 58
4．1．2 行列式的性質(zhì) 60
4．1．3 行列式的計算 62
4．2 矩陣 63
4．2．1 矩陣的概念 63
4．2．2 矩陣的運(yùn)算 65
4．2．3 矩陣的初等變換 67
4．2．4 矩陣的秩 69
4．3 向量 69
4．3．1 n維向量的定義 69
4．3．2 n維向量間的線性關(guān)系 71
4．3．3 向量組的秩 72
4．3．4 梯度、海森矩陣與雅可比矩陣 73
4．4 線性方程組 74
4．4．1 齊次線性方程組解的結(jié)構(gòu) 74
4．4．2 非齊次線性方程組解的結(jié)構(gòu) 75
4．5 二次型 76
4．5．1 特征值與特征向量 76
4．5．2 相似矩陣 78
4．5．3 二次型 79
4．5．4 正定二次型 82
4．6 實(shí)驗(yàn)：矩陣運(yùn)算 83
4．6．1 實(shí)驗(yàn)?zāi)康?83
4．6．2 實(shí)驗(yàn)要求 83
4．6．3 實(shí)驗(yàn)原理、步驟及結(jié)果 84
習(xí)題 87
參考文獻(xiàn) 88
第5章 概率論 89
5．1 概述 89
5．1．1 概率論發(fā)展簡史 89
5．1．2 概率論的主要內(nèi)容 90
5．2 隨機(jī)事件及其概率 90
5．2．1 隨機(jī)事件的運(yùn)算 92
5．2．2 隨機(jī)事件的概率 93
5．2．3 條件概率 95
5．3 隨機(jī)變量 97
5．3．1 隨機(jī)變量的概率分布 97
5．3．2 隨機(jī)變量的數(shù)字特征 102
5．3．3 常見的概率分布 104
5．4 貝葉斯理論 105
5．4．1 貝葉斯公式的推導(dǎo) 105
5．4．2 貝葉斯公式的應(yīng)用舉例 107
5．4．3 貝葉斯理論的前景 109
5．5 極限理論 110
5．5．1 收斂 110
5．5．2 大數(shù)定理 110
5．5．3 中心極限定理 111
5．6 基于Python的泊松分布仿真實(shí)驗(yàn) 113
5．6．1 實(shí)驗(yàn)?zāi)康?113
5．6．2 實(shí)驗(yàn)要求 113
5．6．3 實(shí)驗(yàn)原理 113
5．6．4 實(shí)驗(yàn)步驟 113
5．6．5 實(shí)驗(yàn)結(jié)果 114
習(xí)題 115
參考文獻(xiàn) 116
第6章 數(shù)理統(tǒng)計 117
6．1 概述 117
6．1．1 數(shù)理統(tǒng)計發(fā)展簡史 117
6．1．2 數(shù)理統(tǒng)計的主要內(nèi)容 118
6．2 總體與樣本 118
6．2．1 總體與樣本簡介 118
6．2．2 數(shù)據(jù)的特征 118
6．2．3 統(tǒng)計量 122
6．3 參數(shù)估計 122
6．3．1 最大似然估計 122
6．3．2 貝葉斯估計 124
6．3．3 點(diǎn)估計與矩估計 124
6．3．4 蒙特卡羅方法的基本原理 125
6．4 假設(shè)檢驗(yàn) 125
6．4．1 基本概念 125
6．4．2 Neyman-Pearson 基本引理 127
6．4．3 參數(shù)假設(shè)檢驗(yàn) 130
6．4．4 檢驗(yàn) 131
6．5 回歸分析 132
6．5．1 一元線性回歸 132
6．5．2 可化為一元線性回歸的非線性回歸 135
6．5．3 多元線性回歸 136
6．6 實(shí)驗(yàn)：基于Python實(shí)現(xiàn)用蒙特卡羅方法求圓周率π 137
6．6．1 實(shí)驗(yàn)?zāi)康?137
6．6．2 實(shí)驗(yàn)要求 137
6．6．3 實(shí)驗(yàn)原理 137
6．6．4 實(shí)驗(yàn)步驟 138
6．6．5 實(shí)驗(yàn)結(jié)果 139
習(xí)題 139
參考文獻(xiàn) 140
第7章 函數(shù)逼近 141
7．1 函數(shù)插值 141
7．1．1 線性函數(shù)插值 141
7．1．2 多項(xiàng)式插值 143
7．1．3 樣條插值 144
7．1．4 徑向基函數(shù)插值 146
7．2 曲線擬合 148
7．2．1 線性最小二乘法 148
7．2．2 非線性曲線擬合 150
7．2．3 貝塞爾曲線擬合 152
7．3 最佳逼近 153
7．3．1 函數(shù)空間范數(shù)與最佳逼近問題 153
7．3．2 最佳一致逼近 155
7．3．3 最佳平方逼近 157
7．4 核函數(shù)逼近 159
7．4．1 核方法原理 159
7．4．2 常見核函數(shù) 160
7．4．3 支持向量機(jī)及其在函數(shù)逼近中的應(yīng)用 160
7．5 神經(jīng)網(wǎng)絡(luò)逼近 163
7．5．1 神經(jīng)網(wǎng)絡(luò)函數(shù)逼近定理 163
7．5．2 BP神經(jīng)網(wǎng)絡(luò)在函數(shù)逼近中的應(yīng)用 164
7．5．3 RBF神經(jīng)網(wǎng)絡(luò)在函數(shù)逼近中的應(yīng)用 167
7．6 實(shí)驗(yàn)：黃河小浪底調(diào)水調(diào)沙問題 170
7．6．1 實(shí)驗(yàn)?zāi)康?170
7．6．2 實(shí)驗(yàn)要求 170
7．6．3 實(shí)驗(yàn)原理 171
7．6．4 實(shí)驗(yàn)步驟及結(jié)果 171
習(xí)題 173
參考文獻(xiàn) 174
第8章 最優(yōu)化理論 176
8．1 最優(yōu)化理論的基礎(chǔ)知識 176
8．1．1 最優(yōu)化示例 176
8．1．2 最優(yōu)化的基本概念 177
8．1．3 求最優(yōu)化問題的一般過程 180
8．1．4 最優(yōu)化問題的幾何解釋 180
8．1．5 最優(yōu)化問題的基本解法 182
8．2 線性規(guī)劃 183
8．2．1 線性規(guī)劃問題及其數(shù)學(xué)模型 183
8．2．2 線性規(guī)劃問題的幾何意義 189
8．2．3 單純形法 190
8．3 非線性規(guī)劃 193
8．3．1 非線性規(guī)劃的基本概念 193
8．3．2 無約束條件下的單變量函數(shù)最優(yōu)化方法 194
8．3．3 無約束條件下的多變量函數(shù)最優(yōu)化方法 198
8．4 實(shí)驗(yàn)：用梯度下降法求Rosenbrock函數(shù)的極值 208
8．4．1 實(shí)驗(yàn)?zāi)康?208
8．4．2 實(shí)驗(yàn)要求 208
8．4．3 實(shí)驗(yàn)原理 208
8．4．4 實(shí)驗(yàn)步驟 208
8．4．5 實(shí)驗(yàn)結(jié)果 211
習(xí)題 211
參考文獻(xiàn) 212
第9章 信息論 213
9．1 概述 213
9．1．1 信息論的形成和發(fā)展 213
9．1．2 信息論對人工智能的影響 214
9．1．3 信息的基本概念 214
9．1．4 通信系統(tǒng)模型 215
9．2 信息的度量 216
9．2．1 自信息量 217
9．2．2 條件自信息量 219
9．2．3 聯(lián)合自信息量 221
9．2．4 互信息量與條件互信息量 221
9．2．5 互信息量的性質(zhì) 222
9．3 信源與信息熵 222
9．3．1 平均自信息量（熵） 223
9．3．2 平均條件自信息量（條件熵） 225
9．3．3 聯(lián)合熵 226
9．3．4 相對熵 227
9．3．5 熵函數(shù)的性質(zhì) 228
9．3．6 平均互信息量 229
9．3．7 平均互信息量的性質(zhì) 229
9．3．8 平均互信息量與熵、條件熵的關(guān)系[12] 229
9．3．9 關(guān)于平均互信息量的兩條定理 230
9．3．10 熵在決策樹中的應(yīng)用 231
9．4 信道與信道容量 231
9．4．1 信道的分類 232
9．4．2 離散無記憶信道容量 234
9．4．3 連續(xù)信道容量 237
9．5 信道編碼 238
9．5．1 信道編碼的基本概念 238
9．5．2 信道譯碼規(guī)則 239
9．5．3 信道編碼定理 242
9．5．4 信道編碼逆定理 242
9．6 網(wǎng)絡(luò)信息安全及密碼 242
9．6．1 網(wǎng)絡(luò)信息安全概述 243
9．6．2 密碼技術(shù) 243
9．6．3 密碼技術(shù)在信息安全中的應(yīng)用 245
9．7 實(shí)驗(yàn)一：繪制二進(jìn)制熵函數(shù)曲線 246
9．7．1 實(shí)驗(yàn)?zāi)康?246
9．7．2 實(shí)驗(yàn)要求 246
9．7．3 實(shí)驗(yàn)原理 246
9．7．4 實(shí)驗(yàn)步驟 247
9．7．5 實(shí)驗(yàn)結(jié)果 249
9．8 實(shí)驗(yàn)二：信息增益的計算 250
9．8．1 實(shí)驗(yàn)?zāi)康?250
9．8．2 實(shí)驗(yàn)要求 251
9．8．3 實(shí)驗(yàn)原理 251
9．8．4 實(shí)驗(yàn)步驟 251
9．8．5 實(shí)驗(yàn)結(jié)果 254
習(xí)題 255
參考文獻(xiàn) 256
第10章 圖論 258
10．1 圖的認(rèn)識 258
10．1．1 圖的基本概念 258
10．1．2 圖中結(jié)點(diǎn)的度數(shù) 260
10．1．3 常見的圖 260
10．1．4 子圖 261
10．1．5 圖的同構(gòu) 261
10．2 路與回路 262
10．2．1 路和回路 262
10．2．2 連通性 262
10．2．3 最短路徑 264
10．2．4 關(guān)鍵路徑 264
10．2．5 綜合案例及應(yīng)用 266
10．3 圖的矩陣表示 268
10．3．1 鄰接矩陣表示 268
10．3．2 關(guān)聯(lián)矩陣表示 269
10．3．3 綜合案例及應(yīng)用 270
10．4 歐拉圖與哈密頓圖 271
10．4．1 歐拉圖 271
10．4．2 哈密頓圖 273
10．4．3 綜合案例及應(yīng)用 274
10．5 樹 275
10．5．1 樹的概念 275
10．5．2 生成樹 276
10．5．3 二叉樹 277
10．5．4 綜合案例及應(yīng)用 280
10．6 實(shí)驗(yàn)：最優(yōu)樹理論和應(yīng)用 281
10．6．1 實(shí)驗(yàn)?zāi)康?281
10．6．2 實(shí)驗(yàn)要求 281
10．6．3 實(shí)驗(yàn)原理 281
10．6．4 實(shí)驗(yàn)步驟 282
10．6．5 實(shí)驗(yàn)結(jié)果 283
習(xí)題 284
參考文獻(xiàn) 285
附錄A 人工智能實(shí)驗(yàn)環(huán)境 286
附錄B 人工智能云平臺 292