矩陣力量：線性代數(shù)全彩圖解+微課+Python編程

緒論 1
第1章 不止向量 7
1.1 有數(shù)據(jù)的地方，必有矩陣 8
1.2 有矩陣的地方，更有向量 10
1.3 有向量的地方，就有幾何 12
1.4 有幾何的地方，皆有空間 17
1.5 有數(shù)據(jù)的地方，定有統(tǒng)計 20
第2章 向量運算 23
2.1 向量：多面手 25
2.2 行向量、列向量 27
2.3 向量長度：模，歐氏距離，L2范數(shù) 31
2.4 加減法：對應(yīng)位置元素分別相加減 35
2.5 標(biāo)量乘法：向量縮放 36
2.6 向量內(nèi)積：結(jié)果為標(biāo)量 37
2.7 向量夾角：反余弦 43
2.8 余弦相似度和余弦距離 45
2.9 向量積：結(jié)果為向量 47
2.10 逐項積：對應(yīng)元素分別相乘 50
2.11 張量積：張起網(wǎng)格面 51
第3章 向量范數(shù) 57
3.1 Lp范數(shù)：L2范數(shù)的推廣 58
3.2 Lp范數(shù)和超橢圓的聯(lián)系 61
3.3 L1范數(shù)：旋轉(zhuǎn)正方形 64
3.4 L2范數(shù)：正圓 66
3.5 L∞范數(shù)：正方形 69
3.6 再談距離度量 71
第4章 矩陣 77
4.1 矩陣：一個不平凡的表格 79
4.2 矩陣形狀：每種形狀都有特殊用途 81
4.3 基本運算：加減和標(biāo)量乘法 85
4.4 廣播原則 86
4.5 矩陣乘法：線性代數(shù)的運算核心 88
4.6 兩個視角解剖矩陣乘法 90
4.7 轉(zhuǎn)置：繞主對角線鏡像 92
4.8 矩陣逆：“相當(dāng)于”除法運算 94
4.9 跡：主對角元素之和 95
4.10 逐項積：對應(yīng)元素相乘 97
4.11 行列式：將矩陣映射到標(biāo)量值 98
第5章 矩陣乘法 105
5.1 矩陣乘法：形態(tài)豐富多樣 107
5.2 向量和向量 107
5.3 再聊全1列向量 112
5.4 矩陣乘向量：線性方程組 116
5.5 向量乘矩陣乘向量：二次型 120
5.6 方陣乘方陣：矩陣分解 123
5.7 對角陣：批量縮放 124
5.8 置換矩陣：調(diào)換元素順序 127
5.9 矩陣乘向量：映射到一維 128
5.10 矩陣乘矩陣：映射到多維 130
5.11 長方陣：奇異值分解、格拉姆矩陣、張量積 133
5.12 愛因斯坦求和約定 136
5.13 矩陣乘法的幾個雷區(qū) 138
第6章 分塊矩陣 143
6.1 分塊矩陣：橫平豎直切豆腐 145
6.2 矩陣乘法視角：標(biāo)量積展開 149
6.3 矩陣乘法第二視角：外積展開 150
6.4 矩陣乘法更多視角：分塊多樣化 154
6.5 分塊矩陣的逆 160
6.6 克羅內(nèi)克積：矩陣張量積 160
第7章 向量空間 165
7.1 向量空間：從直角坐標(biāo)系說起 166
7.2 給向量空間涂顏色：RGB色卡 178
7.3 張成空間：線性組合紅、綠、藍(lán)三原色 179
7.4 線性無關(guān)：紅色和綠色，調(diào)不出青色 183
7.5 非正交基底：青色、品紅、黃色 184
7.6 基底轉(zhuǎn)換：從紅、綠、藍(lán)，到青色、品紅、黃色 187
第8章 幾何變換 189
8.1 線性變換：線性空間到自身的線性映射 191
8.2 平移：仿射變換，原點變動 195
8.3 縮放：對角陣 196
8.4 旋轉(zhuǎn)：行列式值為1 200
8.5 鏡像：行列式值為負(fù) 205
8.6 投影：降維操作 207
8.7 再談行列式值：幾何視角 208
第9章 正交投影 215
9.1 標(biāo)量投影：結(jié)果為標(biāo)量 217
9.2 向量投影：結(jié)果為向量 218
9.3 正交矩陣：一個規(guī)范正交基 222
9.4 規(guī)范正交基性質(zhì) 226
9.5 再談鏡像：從投影視角 229
9.6 格拉姆-施密特正交化 231
9.7 投影視角看回歸 233
第10章 數(shù)據(jù)投影 241
10.1 從一個矩陣乘法運算說起 242
10.2 二次投影 層層疊加 245
10.3 二特征數(shù)據(jù)投影：標(biāo)準(zhǔn)正交基 249
10.4 二特征數(shù)據(jù)投影：規(guī)范正交基 254
10.5 四特征數(shù)據(jù)投影：標(biāo)準(zhǔn)正交基 259
10.6 四特征數(shù)據(jù)投影：規(guī)范正交基 263
10.7 數(shù)據(jù)正交化 269
第11章 矩陣分解 277
11.1 矩陣分解：類似因式分解 278
11.2 LU分解：上下三角 279
11.3 Cholesky分解：適用于正定矩陣 280
11.4 QR分解：正交化 282
11.5 特征值分解：刻畫矩陣映射的特征 286
11.6 奇異值分解：適用于任何實數(shù)矩陣 290
第12章 Cholesky分解 295
12.1 Cholesky分解 296
12.2 正定矩陣才可以進(jìn)行Cholesky分解 297
12.3 幾何角度：開合 299
12.4 幾何變換：縮放 → 開合 302
12.5 推廣到三維空間 305
12.6 從格拉姆矩陣到相似度矩陣 309
第13章 特征值分解 313
13.1 幾何角度看特征值分解 315
13.2 旋轉(zhuǎn) → 縮放 → 旋轉(zhuǎn) 317
13.3 再談行列式值和線性變換 320
13.4 對角化、譜分解 323
13.5 聊聊特征值 328
13.6 特征值分解中的復(fù)數(shù)現(xiàn)象 330
第14章 深入特征值分解 333
14.1 方陣開方 334
14.2 矩陣指數(shù)：冪級數(shù)的推廣 335
14.3 斐波那契數(shù)列：求通項式 337
14.4 馬爾科夫過程的平穩(wěn)狀態(tài) 339
14.5 瑞 利商 342
14.6   再談橢圓：特征值分解 346
第15章 奇異值分解 353
15.1 幾何視角：旋轉(zhuǎn) → 縮放 → 旋轉(zhuǎn) 355
15.2 不同類型SVD分解 359
15.3 左奇異向量矩陣U 360
15.4 右奇異向量矩陣V 363
15.5 兩個視角：投影和數(shù)據(jù)疊加 365
第16章 深入奇異值分解 369
16.1 完全型：U為方陣 371
16.2 經(jīng)濟(jì)型：S去掉零矩陣，變方陣 372
16.3 緊湊型：非滿秩 373
16.4 截斷型：近似 374
16.5 數(shù)據(jù)還原：層層疊加 375
16.6 估計與誤差：截斷型SVD 379
16.7 正交投影：數(shù)據(jù)正交化 382
第17章 多元函數(shù)微分 387
17.1 偏導(dǎo)：特定方向的變化率 388
17.2 梯度向量：上山方向 392
17.3 法向量：垂直于切平面 396
17.4 方向性微分：函數(shù)任意方向的變化率 398
17.5 泰勒展開：一元到多元 402
第18章 拉格朗日乘子法 407
18.1 回顧優(yōu)化問題 408
18.2 等式約束條件 410
18.3 線性等式約束 414
18.4 非線性等式約束 415
18.5 不等式約束 417
18.6 再談特征值分解：優(yōu)化視角 420
18.7 再談SVD：優(yōu)化視角 423
18.8 矩陣范數(shù)：矩陣 → 標(biāo)量，矩陣“大小” 426
18.9 再談數(shù)據(jù)正交投影：優(yōu)化視角 428
第19章 直線到超平面 437
19.1 切向量：可以用來定義直線 438
19.2 法向量：定義直線、平面、超平面 441
19.3 超平面：一維直線和二維平面的推廣 443
19.4 平面與梯度向量 446
19.5 中垂線：用向量求解析式 451
19.6 用向量計算距離 453
第20章 再談圓錐曲線 457
20.1 無處不在的圓錐曲線 459
20.2 正圓：從單位圓到任意正圓 460
20.3 單位圓到旋轉(zhuǎn)橢圓：縮放 → 旋轉(zhuǎn) → 平移 463
20.4 多元高斯分布：矩陣分解、幾何變換、距離 468
20.5 從單位雙曲線到旋轉(zhuǎn)雙曲線 474
20.6 切線：構(gòu)造函數(shù)，求梯度向量 476
20.7 法線：法向量垂直于切向量 479
第21章 曲面和正定性 481
21.1 正 定性 483
21.2 幾何視角看正定性 485
21.3 開口朝上拋物面：正定 486
第22章 數(shù)據(jù)與統(tǒng)計 501
22.1 統(tǒng)計 線性代數(shù)：以鳶尾花數(shù)據(jù)為例 502
22.2 均值：線性代數(shù)視角 503
22.3 質(zhì)心：均值排列成向量 505
22.4 中心化：平移 508
22.5 分類數(shù)據(jù)：加標(biāo)簽 510
22.6 方差：均值向量沒有解釋的部分 512
22.7 協(xié)方差和相關(guān)性系數(shù) 514
22.8 協(xié)方差矩陣和相關(guān)性系數(shù)矩陣 517
第23章 數(shù)據(jù)空間 523
23.1 從數(shù)據(jù)矩陣X說起 524
23.2 向量空間：從SVD分解角度理解 527
23.3 緊湊型SVD分解：剔除零空間 529
23.4 幾何視角說空間 532
23.5 格拉姆矩陣：向量模、夾角余弦值的集合體 537
23.6 標(biāo)準(zhǔn)差向量：以數(shù)據(jù)質(zhì)心為起點 540
23.7 白話說空間：以鳶尾花數(shù)據(jù)為例 543
第24章 數(shù)據(jù)分解 549
24.1 為什么要分解矩陣？ 550
24.2 QR分解：獲得正交系 555
24.3 Cholesky分解：找到列向量的坐標(biāo) 557
24.4 特征值分解：獲得行空間和零空間 559
24.5 SVD分解：獲得四個空間 562
第25章 數(shù)據(jù)應(yīng)用 567
25.1 從線性代數(shù)到機器學(xué)習(xí) 568
25.2 從隨機變量的線性變換說起 572
25.3 單方向映射 574
25.4 線性回歸 578
25.5 多方向映射 582
25.6 主成分分析 584