嵌入式人工智能

第一篇原理

第1章人工智能與人工神經(jīng)網(wǎng)絡(luò)3

1.1什么是人工智能3

1.2什么是人工神經(jīng)網(wǎng)絡(luò)4

1.3人類大腦5

1.4人工神經(jīng)網(wǎng)絡(luò)的基本構(gòu)成7

1.4.1人工神經(jīng)元7

1.4.2人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)8

1.5人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機制9

1.6人工神經(jīng)網(wǎng)絡(luò)的類型10

1.7人工神經(jīng)網(wǎng)絡(luò)的優(yōu)勢24

1.8深度神經(jīng)網(wǎng)絡(luò)25

1.8.1什么是深度神經(jīng)網(wǎng)絡(luò)25

1.8.2常見的深度神經(jīng)網(wǎng)絡(luò)27

1.8.3卷積神經(jīng)網(wǎng)絡(luò)27

1.9神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索31

1.9.1搜索空間31

1.9.2強化學(xué)習(xí)搜索32

1.9.3漸進式搜索33

1.9.4離散搜索35

1.10遷移學(xué)習(xí)37

1.10.1什么是遷移學(xué)習(xí)37

1.10.2遷移學(xué)習(xí)的類型38

1.10.3遷移學(xué)習(xí)的優(yōu)勢39

1.10.4遷移學(xué)習(xí)的方式40

1.10.5遷移學(xué)習(xí)與嵌入式人工智能40第2章嵌入式人工智能41

2.1什么是嵌入式人工智能41

2.2為什么需要嵌入式人工智能42

2.3最初的嘗試: 云計算模式45

2.4從云端到設(shè)備: 本地模式47

2.5嵌入式人工智能的技術(shù)挑戰(zhàn)50

2.6嵌入式人工智能的實現(xiàn)途徑53

目錄2.7嵌入式人工智能的實現(xiàn)組件54第3章嵌入式AI芯片原理56

3.1并行計算56

3.2脈動陣列57

3.3多級緩存59

3.4數(shù)據(jù)流60第4章輕量級神經(jīng)網(wǎng)絡(luò)64

4.1降低計算復(fù)雜度64

4.1.1分組卷積65

4.1.2深度方向卷積65

4.1.3點向卷積66

4.1.4深度可分離卷積66

4.1.5通道亂序混合67

4.2SqueezeNet67

4.2.1核心思想67

4.2.2網(wǎng)絡(luò)結(jié)構(gòu)68

4.2.3性能70

4.3Xception70

4.3.1核心思想70

4.3.2網(wǎng)絡(luò)結(jié)構(gòu)71

4.3.3性能71

4.4MobileNet v172

4.4.1核心思想73

4.4.2網(wǎng)絡(luò)結(jié)構(gòu)73

4.4.3性能74

4.5MobileNet v275

4.5.1核心思想75

4.5.2網(wǎng)絡(luò)結(jié)構(gòu)75

4.5.3性能77

4.6MnasNet77

4.6.1核心思想78

4.6.2網(wǎng)絡(luò)結(jié)構(gòu)78

4.6.3性能80

4.7MobileNet v381

4.7.1核心思想81

4.7.2網(wǎng)絡(luò)結(jié)構(gòu)81

4.7.3性能83

4.8輕量級神經(jīng)網(wǎng)絡(luò)的應(yīng)用84第5章深度神經(jīng)網(wǎng)絡(luò)壓縮86

5.1神經(jīng)網(wǎng)絡(luò)壓縮的一般方法86

5.1.1剪枝86

5.1.2權(quán)重共享88

5.1.3量化90

5.1.4二值/三值化92

5.1.5Winograd卷積93

5.2壓縮編譯協(xié)同設(shè)計94

5.2.1壓縮編譯協(xié)同設(shè)計的概念94

5.2.2壓縮器95

5.2.3編譯器98

5.2.4壓縮編譯協(xié)同設(shè)計的優(yōu)勢99第6章嵌入式神經(jīng)網(wǎng)絡(luò)應(yīng)用程序框架101

6.1分層級聯(lián)系統(tǒng)的構(gòu)成102

6.2分層級聯(lián)系統(tǒng)的效率103

6.3基于CNN的分層人臉識別系統(tǒng)104

6.4本地云協(xié)同模式107第7章終生深度學(xué)習(xí)109

7.1傳統(tǒng)深度學(xué)習(xí)的缺陷及原因109

7.2終生深度學(xué)習(xí)的目標(biāo)111

7.3終生深度學(xué)習(xí)的特性112

7.4神經(jīng)生物學(xué)的啟示112

7.5終生深度神經(jīng)網(wǎng)絡(luò)的實現(xiàn)113

7.5.1雙重學(xué)習(xí)系統(tǒng)113

7.5.2實時更新114

7.5.3記憶合并115

7.5.4適應(yīng)真實場景115

7.6終生深度學(xué)習(xí)與嵌入式神經(jīng)網(wǎng)絡(luò)117

第二篇平臺

第8章嵌入式神經(jīng)網(wǎng)絡(luò)硬件加速器121

8.1概述121

8.2NVIDIA Jetson122

8.2.1Jetson模塊簡介122

8.2.2Jetson模塊內(nèi)部結(jié)構(gòu)124

8.2.3Jetson性能133

8.3Intel Movidius136

8.3.1Movidius Myriad X VPU芯片137

8.3.2Intel Movidius神經(jīng)計算棒141

8.4Google Edge TPU142

8.4.1Google Edge TPU簡介142

8.4.2Google Edge TPU工作原理144

8.5XILINX DPU151

8.6ARM Ethos NPU157

8.6.1ARM機器學(xué)習(xí)處理器157

8.6.2EthosN系列159

8.6.3EthosU系列161

8.7小結(jié)163第9章嵌入式神經(jīng)網(wǎng)絡(luò)軟件框架166

9.1TensorFlow Lite166

9.1.1TensorFlow Lite簡介166

9.1.2TensorFlow Lite工作原理168

9.2TensorRT170

9.2.1TensorRT簡介170

9.2.2TensorRT如何應(yīng)用174

9.3OpenVINO176

9.3.1OpenVINO簡介176

9.3.2OpenVINO的構(gòu)成177

9.3.3OpenVINO應(yīng)用開發(fā)178

9.4XILINX Vitis180

9.5uTensor184

9.6Apache TVM186

9.7小結(jié)188

第三篇實現(xiàn)

第10章搭建嵌入式神經(jīng)網(wǎng)絡(luò)開發(fā)環(huán)境193

10.1嵌入式AI開發(fā)流程193

10.2NVIDIA JetSon開發(fā)流程 194第11章優(yōu)化嵌入式神經(jīng)網(wǎng)絡(luò)模型197

11.1TensorFlow 模型優(yōu)化197

11.1.1訓(xùn)練后優(yōu)化197

11.1.2訓(xùn)練時優(yōu)化198

11.2TensorRT模型優(yōu)化215

11.2.1與主流深度學(xué)習(xí)框架集成215

11.2.2部署到嵌入式系統(tǒng)220

11.2.3TensorRT API221

11.2.4TensorRT應(yīng)用示例232

11.2.5模型轉(zhuǎn)換器249

11.3兩種模型優(yōu)化技術(shù)的對比261第12章在嵌入式設(shè)備上執(zhí)行推理262

12.1從源代碼構(gòu)建項目262

12.2使用ImageNet實現(xiàn)圖像分類267

12.2.1靜態(tài)圖像分類267

12.2.2攝像機實時視頻分類277

12.3使用DetectNet實現(xiàn)目標(biāo)檢測284

12.3.1靜態(tài)圖像目標(biāo)檢測284

12.3.2攝像機實時視頻目標(biāo)檢測286

12.4使用SegNet實現(xiàn)語義分割294

12.4.1靜態(tài)圖像語義分割294

12.4.2視頻語義分割304

12.5使用PyTorch實現(xiàn)遷移學(xué)習(xí)313

12.6使用轉(zhuǎn)換的模型335第13章嵌入式神經(jīng)網(wǎng)絡(luò)應(yīng)用示例337

13.1應(yīng)用場景337

13.2硬件選型338

13.3模型開發(fā)338結(jié)束語萬物智能344參考文獻(xiàn)346