智能座艙開發(fā)與實踐

前言

第章　智能座艙概述 1
1.1　智能座艙定義 1
1.2　智能座艙發(fā)展 2
1.3　智能座艙場景 8
1.3.1　消費品的設計原則 8
1.3.2　特斯拉的第一性原理 12
1.4　案例：長安UNI-T智能座艙及場景設計 15
1.5　練習題 18
第章　智能座艙技術架構及整體開發(fā)流程 19
2.1　技術架構 19
2.1.1　整體架構 20
2.1.2　車端 23
2.1.3　車云結合 25
2.2　開發(fā)流程 34
2.2.1　整體流程 34
2.2.2　開發(fā)工具 36
2.3　座艙項目管理流程 43
2.3.1　管理體系的演變 43
2.3.2　管理流程范圍介紹 43
2.4　案例：基于AI Express開發(fā)人臉結構化 48
2.5　練習題 49
第章　智能座艙硬件基礎 50
3.1　芯片技術的演化與發(fā)展 50
3.1.1　芯片制造 52
3.1.2　圖形處理器（GPU） 58
3.1.3　片上系統(tǒng)（SoC） 60
3.1.4　域控制器（DCU） 64
3.1.5　案例：BPU及地平線征程系列芯片 65
3.2　車載傳聲器 66
3.2.1　傳聲器類型 66
3.2.2　傳聲器陣列安裝方式 67
3.2.3　案例：車載多音區(qū)的實現(xiàn)方式 68
3.3　車載攝像頭 69
3.3.1　攝像頭類型 69
3.3.2　攝像頭安裝方式 70
3.3.3　案例：用于DMS的方向盤轉(zhuǎn)向柱攝像頭 71
3.4　基于芯片的硬件設計 71
3.4.1　一體機方案 71
3.4.2　ECU方案 72
3.4.3　案例：基于地平線芯片的硬件接入案例 72
3.5　練習題 76
第章　智能座艙算法基礎 78
4.1　深度學習 78
4.1.1　卷積神經(jīng)網(wǎng)絡 80
4.1.2　損失函數(shù) 87
4.1.3　模型訓練及測試 88
4.1.4　模型壓縮 90
4.1.5　案例：VarGNet網(wǎng)絡結構設計 96
4.2　機器視覺 99
4.2.1　分類 100
4.2.2　檢測 103
4.2.3　分割 107
4.2.4　關鍵點 110
4.2.5　案例：人體關鍵點檢測 112
4.3　語音識別 115
4.3.1　聲學模型 117
4.3.2　語言模型 127
4.3.3　解碼器 132
4.3.4　案例：“小安，你好！” 137
4.4　練習題 139
第章　智能座艙數(shù)據(jù) 140
5.1　座艙數(shù)據(jù)采集 140
5.1.1　采集環(huán)境搭建 140
5.1.2　采集文檔 142
5.1.3　采集數(shù)據(jù)管理 142
5.2　座艙數(shù)據(jù)標注 144
5.2.1　數(shù)據(jù)標注方法 145
5.2.2　數(shù)據(jù)標注文檔 152
5.2.3　標注體系建設 153
5.3　案例：疲勞數(shù)據(jù)采集與標注 158
5.4　練習題 164
第章　智能座艙算法研發(fā) 165
6.1　座艙算法研發(fā)流程 165
6.2　常見座艙算法（視覺篇） 167
6.2.1　視線 168
6.2.2　手勢 172
6.2.3　行為 176
6.2.4　情緒 179
6.2.5　疲勞 185
6.3　常見座艙算法（語音篇） 189
6.3.1　語音前端 189
6.3.2　語音后端 197
6.4　常見座艙算法（多模篇） 211
6.5　案例：安全帶算法研發(fā) 216
6.6　練習題 223
第章　智能座艙感知軟件開發(fā) 224
7.1　感知軟件開發(fā)流程 224
7.1.1　開發(fā)環(huán)境搭建 224
7.1.2　開發(fā)流程概述 225
7.2　芯片工具鏈 226
7.2.1　AI計算單元 226
7.2.2　AI芯片工具鏈 229
7.2.3　地平線AI工具鏈舉例 231
7.3　感知軟件開發(fā)框架 235
7.3.1　通信及底層組件 235
7.3.2　模型集成框架 241
7.4　案例：打電話識別開發(fā)實踐 244
7.4.1　模型編譯和管理 244
7.4.2　感知軟件開發(fā) 246
7.5　練習題 252
第章　智能座艙場景應用開發(fā) 253
8.1　場景應用全貌 253
8.2　場景應用框架 257
8.2.1　通信 259
8.2.2　組件 262
8.2.3　工程模式 275
8.2.4　對外能力輸出 281
8. 3　場景開發(fā)示例 285
8.3.1　場景可視化配置 285
8.3.2　沖突處理 287
8. 4　案例：抽煙場景應用開發(fā)實踐 289
8.4.1　開發(fā)環(huán)境搭建 289
8.4.2　場景應用開發(fā) 291
8. 5　練習題 293
第章　智能座艙場景測試 294
9.1　座艙場景測試流程 294
9.2　座艙場景測試工具 295
9.2.1　圖像測試工具 295
9.2.2　語音測試工具 300
9.3　座艙場景測試標準 302
9.3.1　車載視覺測試標準 303
9.3.2　車載語音測試標準 309
9.4　案例：抽煙識別場景測試 316
9.5　練習題 317
第章　智能座艙生命周期 318
10.1　機器學習生命周期 318
10.2　長尾問題及快速迭代 321
10.2.1　長尾問題 321
10.2.2　快速迭代 323
10.3　流程自動化 328
10.4　案例：基于AirFlow的自動模型迭代 330
10.5　練習題 333
第章　智能座艙的未來發(fā)展趨勢 334
11.1　座艙傳感器趨勢 335
11.1.1　攝像頭 335
11.1.2　傳聲器 337
11.2　感知算法趨勢 338
11.2.1　視覺技術趨勢 339
11.2.2　語音技術趨勢 340
11.2.3　聲學技術趨勢 342
11.2.4　多模融合技術趨勢 344
11.3　AI芯片趨勢 346
11.4　云服務趨勢 351
11.5　生態(tài)發(fā)展趨勢 352
11.6　練習題 353
附錄　術語與符號列表 354
參考文獻 360