深入理解計(jì)算機(jī)視覺(jué)：關(guān)鍵算法解析與深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

目錄

第1篇 計(jì)算機(jī)視覺(jué)開(kāi)發(fā)環(huán)境的搭建 1
第1章 Python編程環(huán)境 2
1.1 Python語(yǔ)言簡(jiǎn)介 2
1.2 Python腳本的運(yùn)行方式 3
1.3 Anaconda虛擬環(huán)境管理器 3
1.4 使用Anaconda建立虛擬環(huán)境 5
第2章 搭建三層的圖像分類神經(jīng)網(wǎng)絡(luò) 7
2.1 下載數(shù)據(jù)集 7
2.2 探索數(shù)據(jù)集 8
2.3 構(gòu)建、編譯和訓(xùn)練神經(jīng)網(wǎng)絡(luò) 9
2.4 使用神經(jīng)網(wǎng)絡(luò)進(jìn)行批量預(yù)測(cè) 12
2.5 將預(yù)測(cè)結(jié)果可視化 13
第2篇 計(jì)算機(jī)視覺(jué)模型從實(shí)驗(yàn)室到生產(chǎn)環(huán)境的部署 15
第3章 圖片數(shù)據(jù)集的處理 16
3.1 數(shù)據(jù)集的預(yù)處理 16
3.1.1 下載和查看數(shù)據(jù)集 16
3.1.2 準(zhǔn)備花卉類別名稱和類別序號(hào)的對(duì)應(yīng)關(guān)系 17
3.1.3 準(zhǔn)備花卉圖片和類別名稱的對(duì)應(yīng)關(guān)系 18
3.2 數(shù)據(jù)集的制作 20
3.2.1 擬寫(xiě)入數(shù)據(jù)集的數(shù)據(jù) 20
3.2.2 TFRecord格式的數(shù)據(jù)集 21
3.2.3 單個(gè)樣本的生成函數(shù) 24
3.2.4 批量生成樣本并寫(xiě)入TFRecord文件 26
3.3 數(shù)據(jù)集的讀取和驗(yàn)證 27
3.3.1 解析單個(gè)樣本 27
3.3.2 制作函數(shù)批量解析樣本 30
3.4 數(shù)據(jù)管道的優(yōu)化處理 31
第4章 遷移學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì) 35
4.1 遷移學(xué)習(xí)的概念和花卉分類應(yīng)用 35
4.2 下載MobileNet 36
4.3 設(shè)置MobileNet 38
4.4 測(cè)試MobileNet的特征提取輸入和輸出 39
第5章 損失函數(shù)的基礎(chǔ)原理 42
5.1 回歸場(chǎng)景下常用的損失函數(shù) 42
5.2 回歸場(chǎng)景下的損失函數(shù)實(shí)戰(zhàn) 44
5.3 分類場(chǎng)景下的損失函數(shù) 47
5.3.1 概率、幾率、對(duì)數(shù)幾率的概念 47
5.3.2 對(duì)數(shù)幾率和概率的相互轉(zhuǎn)換 49
5.3.3 多標(biāo)簽與單標(biāo)簽分類問(wèn)題 51
5.3.4 單標(biāo)簽分類問(wèn)題和交叉熵算法原理 52
5.3.5 交叉熵?fù)p失函數(shù) 54
5.4 自定義損失函數(shù) 56
第6章 神經(jīng)網(wǎng)絡(luò)的編譯和訓(xùn)練 58
6.1 神經(jīng)網(wǎng)絡(luò)的編譯 58
6.2 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 59
6.2.1 神經(jīng)網(wǎng)絡(luò)訓(xùn)練的基本概念 59
6.2.2 神經(jīng)網(wǎng)絡(luò)訓(xùn)練的常用回調(diào)機(jī)制 60
6.2.3 訓(xùn)練的返回和過(guò)擬合的觀測(cè) 62
6.3 神經(jīng)網(wǎng)絡(luò)的保存 65
6.3.1 神經(jīng)網(wǎng)絡(luò)保存的格式和命令 65
6.3.2 神經(jīng)網(wǎng)絡(luò)的性能測(cè)試和推理 72
第7章 TensorFlow模型的部署方式 74
7.1 以Edge TPU為例進(jìn)行邊緣端模型部署 75
7.1.1 將模型轉(zhuǎn)換為T(mén)FLite格式 75
7.1.2 針對(duì)邊緣硬件編譯模型 77
7.1.3 模擬邊緣端推理 79
7.1.4 配置邊緣計(jì)算開(kāi)發(fā)板Edge TPU 81
7.1.5 編寫(xiě)邊緣端推理代碼 85
7.1.6 將推理代碼下載到開(kāi)發(fā)板并運(yùn)行 87
7.2 在服務(wù)器端部署模型 89
7.2.1 TensorFlow Serving的安裝和使用 89
7.2.2 網(wǎng)絡(luò)推理請(qǐng)求和響應(yīng)實(shí)戰(zhàn) 92
第3篇 神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)原理和TensorFlow計(jì)算框架 95
第8章 神經(jīng)網(wǎng)絡(luò)訓(xùn)練的數(shù)學(xué)原理和優(yōu)化器 96
8.1 損失函數(shù)和神經(jīng)網(wǎng)絡(luò)訓(xùn)練的本質(zhì) 96
8.1.1 神經(jīng)網(wǎng)絡(luò)函數(shù)的數(shù)學(xué)抽象 96
8.1.2 計(jì)算損失函數(shù)極值的數(shù)學(xué)抽象 97
8.2 使用符號(hào)微分法獲得損失值的全局最小值 98
8.3 使用局部梯度下降法不斷靠近損失函數(shù)的最小值 105
8.3.1 局部梯度下降法的原理和TensorFlow的優(yōu)化器 105
8.3.2 自動(dòng)微分法的原理及自定義梯度 110
8.3.3 使用自動(dòng)微分法和局部梯度下降法訓(xùn)練波士頓房產(chǎn)數(shù)據(jù)模型 115
第9章 神經(jīng)網(wǎng)絡(luò)的編程范式和靜態(tài)圖轉(zhuǎn)化機(jī)制 122
9.1 計(jì)算圖和編程范式 122
9.2 靜態(tài)圖轉(zhuǎn)化機(jī)制AutoGraph和裝飾器@tf.function 126
9.3 TensorFlow神經(jīng)網(wǎng)絡(luò)模型的類繼承關(guān)系 131
9.3.1 TensorFlow的低階API和Keras的高階API 131
9.3.2 Keras的基礎(chǔ)模型類和基礎(chǔ)層類 132
9.4 使用Keras的高階API構(gòu)建模型并進(jìn)行可視化 136
9.4.1 使用序列方式構(gòu)建模型 138
9.4.2 使用函數(shù)方式構(gòu)建模型 139
9.4.3 使用繼承子類方式構(gòu)建模型 140
9.4.4 提取模型對(duì)應(yīng)的類名稱 143
第4篇 神經(jīng)網(wǎng)絡(luò)層的算法原理和訓(xùn)練過(guò)程控制 144
第10章 神經(jīng)網(wǎng)絡(luò)層的原理和資源開(kāi)銷(xiāo) 145
10.1 全連接層的原理和資源開(kāi)銷(xiāo) 145
10.1.1 全連接層的原理 145
10.1.2 全連接層的資源開(kāi)銷(xiāo) 145
10.1.3 TensorFlow全連接層的API 147
10.2 激活函數(shù)的原理和代碼實(shí)現(xiàn) 148
10.2.1 激活函數(shù)的原理 148
10.2.2 激活函數(shù)的代碼實(shí)現(xiàn) 149
10.3 二維卷積的原理和資源開(kāi)銷(xiāo) 150
10.3.1 二維卷積的原理 150
10.3.2 二維卷積的資源開(kāi)銷(xiāo) 154
10.3.3 TensorFlow二維卷積層的API 155
10.3.4 二維卷積層的配置方式 157
10.4 池化層的原理和實(shí)戰(zhàn) 158
10.5 二維卷積層和池化層的感受野 161
10.6 隨機(jī)失活算法和默認(rèn)推理狀態(tài) 162
10.7 批次歸一化算法 163
10.7.1 內(nèi)部協(xié)變量漂移和輸入數(shù)據(jù)重分布 164
10.7.2 訓(xùn)練階段的BN算法 170
10.7.3 推理階段的BN算法 173
10.7.4 在神經(jīng)網(wǎng)絡(luò)模型內(nèi)使用BN層 175
10.8 制作神經(jīng)網(wǎng)絡(luò)的資源開(kāi)銷(xiāo)函數(shù) 177
10.8.1 整體框架 177
10.8.2 二維卷積層的資源開(kāi)銷(xiāo)算法 178
10.8.3 全連接層的資源開(kāi)銷(xiāo)算法 179
10.8.4 BN層的資源開(kāi)銷(xiāo)算法 180
10.8.5 其他成員函數(shù) 180
第11章 使用計(jì)算加速硬件加快神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 183
11.1 人工智能的數(shù)據(jù)類型和運(yùn)算能力 183
11.2 人工智能計(jì)算中的數(shù)據(jù)類型匹配 185
11.3 人工智能硬件的運(yùn)算能力評(píng)估 187
11.4 安裝GPU版本的TensorFlow計(jì)算框架 192
11.5 使用卷積層和全連接層構(gòu)建經(jīng)典神經(jīng)網(wǎng)絡(luò)LeNet 196
11.5.1 MNIST手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集 197
11.5.2 使用貫序方式建立極簡(jiǎn)神經(jīng)網(wǎng)絡(luò)LeNet 200
11.5.3 使用fit方法在MNIST手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集上訓(xùn)練LeNet5 205
11.5.4 使用eager方法在MNIST手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集上訓(xùn)練LeNet5 208
第12章 自定義fit方法和回調(diào)機(jī)制 214
12.1 fit方法的執(zhí)行機(jī)制和自定義fit方法 214
12.2 fit方法的回調(diào)機(jī)制和自定義回調(diào)函數(shù) 217
12.3 TensorFlow的高階回調(diào)函數(shù) 222
12.3.1 早期停止回調(diào)函數(shù)與過(guò)擬合 222
12.3.2 檢查點(diǎn)保存回調(diào)函數(shù) 224
12.3.3 檢查點(diǎn)管理器和快速自定義回調(diào)函數(shù) 225
12.3.4 其他高階回調(diào)函數(shù)類 228
12.4 訓(xùn)練過(guò)程監(jiān)控和回調(diào)函數(shù) 229
12.4.1 TensorBoard和日志文件的原理和接口 230
12.4.2 TensorBoard的可視化查看 232
12.4.3 eager方法下使用tf.summary存儲(chǔ)日志 235
12.4.4 fit方法下的TensorBoard日志存儲(chǔ)回調(diào)函數(shù) 238
第5篇 目標(biāo)檢測(cè)中的骨干網(wǎng)絡(luò) 244
第13章 經(jīng)典骨干網(wǎng)絡(luò)AlexNet的原理解析 245
13.1 整體結(jié)構(gòu)和數(shù)據(jù)增強(qiáng) 245
13.2 負(fù)責(zé)特征提取的第一、二層卷積層 246
13.3 負(fù)責(zé)特征提取的第三、四、五層卷積層 248
13.4 負(fù)責(zé)特征線性組合的第六、七、八層 251
13.5 使用繼承子類方式建立的AlexNet神經(jīng)網(wǎng)絡(luò) 252
13.6 AlexNet的資源開(kāi)銷(xiāo) 256
第14章 經(jīng)典小核卷積神經(jīng)網(wǎng)絡(luò)VGG的原理解析 259
14.1 VGG的宏觀結(jié)構(gòu)和微觀特點(diǎn) 259
14.2 VGG16的第一、二個(gè)卷積塊結(jié)構(gòu) 261
14.3 VGG16的第三、四、五個(gè)卷積塊結(jié)構(gòu) 264
14.4 VGG五個(gè)卷積塊的代碼實(shí)現(xiàn) 267
14.5 VGG小核卷積技巧下的資源開(kāi)銷(xiāo) 269
14.6 VGG預(yù)訓(xùn)練模型的加載和下游網(wǎng)絡(luò) 272
第15章 經(jīng)典殘差神經(jīng)網(wǎng)絡(luò)ResNet的原理解析 276
15.1 殘差連接的原理和結(jié)構(gòu) 277
15.2 瓶頸殘差模塊堆疊的輸入和輸出函數(shù)關(guān)系 279
15.3 瓶頸殘差模塊的輸入和輸出函數(shù)關(guān)系 283
15.4 堆疊函數(shù)關(guān)系和通用的ResNet網(wǎng)絡(luò)結(jié)構(gòu) 289
15.5 ResNet50 V2模型的案例解析 293
15.6 ResNet的資源開(kāi)銷(xiāo)評(píng)估 297
15.7 ResNet的遷移學(xué)習(xí)和權(quán)重參數(shù)加載 299
第16章 多尺度特征提取的神經(jīng)網(wǎng)絡(luò)DarkNet 302
16.1 DarkNet的基本處理單元 302
16.1.1 DarkNet的專用卷積塊DarknetConv 303
16.1.2 DarkNet的殘差模塊DarknetResidual 305
16.2 YOLO V3的骨干網(wǎng)絡(luò)DarkNet53 307
16.2.1 YOLO V3的殘差模塊堆疊 307
16.2.2 DarkNet53的整體結(jié)構(gòu)和代碼實(shí)現(xiàn) 313
16.2.3 DarkNet53的資源開(kāi)銷(xiāo) 315
16.3 YOLO V3簡(jiǎn)版模型的骨干網(wǎng)絡(luò)DarkNet53-tiny 316
16.3.1 DarkNet53-tiny的整體結(jié)構(gòu)和代碼 316
16.3.2 DarkNet53-tiny的測(cè)試和資源開(kāi)銷(xiāo) 318
16.4 YOLO V4的骨干網(wǎng)絡(luò)CSP-DarkNet 319
16.4.1 殘差模塊堆疊結(jié)構(gòu) 319
16.4.2 五個(gè)殘差模塊堆疊結(jié)構(gòu)的代碼實(shí)現(xiàn) 321
16.4.3 空間金字塔池化結(jié)構(gòu) 325
16.4.4 CSP-DarkNet的整體結(jié)構(gòu)和代碼實(shí)現(xiàn) 328
16.4.5 CSP-DarkNet的測(cè)試和資源開(kāi)銷(xiāo) 330
16.5 YOLO V4簡(jiǎn)版模型的骨干網(wǎng)絡(luò)CSP-DarkNet-tiny 331
16.5.1 矩陣切片自定義層的算法和保存規(guī)范 331
16.5.2 簡(jiǎn)版殘差模塊和簡(jiǎn)版殘差模塊堆疊 332
16.5.3 CSP-DarkNet-tiny的整體結(jié)構(gòu)和代碼 336
16.5.4 CSP-DarkNet-tiny的測(cè)試和資源開(kāi)銷(xiāo) 337
第17章 骨干網(wǎng)絡(luò)預(yù)訓(xùn)練和大型圖像數(shù)據(jù)集ImageNet 339
17.1 ImageNet數(shù)據(jù)集和ILSVRC競(jìng)賽 339
17.1.1 單標(biāo)簽圖像分類任務(wù) 340
17.1.2 單標(biāo)簽分類和定位任務(wù) 342
17.1.3 細(xì)顆粒度分類任務(wù) 345
17.1.4 目標(biāo)檢測(cè)任務(wù) 346
17.1.5 其他競(jìng)賽任務(wù) 346
17.2 CIFAR數(shù)據(jù)集 347
17.3 加載骨干網(wǎng)絡(luò)預(yù)訓(xùn)練權(quán)重進(jìn)行遷移學(xué)習(xí) 351
17.3.1 快速創(chuàng)建LeNet和AlexNet并進(jìn)行開(kāi)銷(xiāo)分析 352
17.3.2 使用高階API快速構(gòu)建VGG、ResNet、MobileNet 354
17.4 加載骨干網(wǎng)絡(luò)DarkNet的預(yù)訓(xùn)練權(quán)重 361
17.4.1 讀取和解析YOLO的官方權(quán)重 361
17.4.2 設(shè)計(jì)DarkNet骨干網(wǎng)絡(luò)并加載轉(zhuǎn)換后的權(quán)重 366
17.5 使用圖像分類任務(wù)測(cè)試骨干網(wǎng)絡(luò)權(quán)重的性能 368
第6篇 三維計(jì)算機(jī)視覺(jué)入門(mén)和實(shí)戰(zhàn) 371
第18章 三維計(jì)算機(jī)視覺(jué)的數(shù)據(jù)表達(dá)和主要任務(wù) 372
18.1 三1