人工智能與大數(shù)據(jù)技術(shù)導(dǎo)論

目  錄
第1章  人工智能概述    1
1.1  AI是什么    1
1.1.1  火熱的AI    2
1.1.2  AI的驅(qū)動因素    3
1.2  AI技術(shù)的成熟度    4
1.2.1  視覺識別    4
1.2.2  自然語言理解    5
1.2.3  機器人    7
1.2.4  自動駕駛    8
1.2.5  機器學(xué)習(xí)    9
1.2.6  游戲    10
1.3  美國AI巨頭分析    11
1.4  國內(nèi)AI現(xiàn)狀    16
1.5  AI與云計算和大數(shù)據(jù)的關(guān)系    17
1.6  AI技術(shù)路線    17
1.7  AI國家戰(zhàn)略    18
1.8  AI的歷史發(fā)展    19
第2章  AI產(chǎn)業(yè)    24
2.1  基礎(chǔ)層    25
2.1.1  芯片產(chǎn)業(yè)    25
2.1.2  GPU    27
2.1.3  FPGA    28
2.1.4  ASIC    28
2.1.5  TPU    29
2.1.6  亞馬遜的芯片    31
2.1.7  芯片產(chǎn)業(yè)小結(jié)    32
2.1.8  傳感器    33
2.1.9  傳感器小結(jié)    35
2.2  技術(shù)層    37
2.2.1  機器學(xué)習(xí)    37
2.2.2  語音識別與自然語言處理    39
2.2.3  計算機視覺    42
2.3  應(yīng)用層    44
2.3.1  安防    44
2.3.2  金融    45
2.3.3  制造業(yè)    47
2.3.4  智能家居    48
2.3.5  醫(yī)療    48
2.3.6  自動駕駛    50
2.4  AI產(chǎn)業(yè)發(fā)展趨勢分析    55
第3章  數(shù)  據(jù)    58
3.1  什么是大數(shù)據(jù)    59
3.1.1  大數(shù)據(jù)的特征    59
3.1.2  大數(shù)據(jù)的誤區(qū)    60
3.1.3  大數(shù)據(jù)交易難點    60
3.1.4  大數(shù)據(jù)的來源    62
3.1.5  數(shù)據(jù)關(guān)聯(lián)    63
3.1.6  大數(shù)據(jù)生產(chǎn)鏈    64
3.1.7  大數(shù)據(jù)怎么用    64
3.2  國內(nèi)大數(shù)據(jù)現(xiàn)狀    65
3.2.1  政策持續(xù)完善    66
3.2.2  技術(shù)和應(yīng)用逐步落地    66
3.2.3  數(shù)據(jù)產(chǎn)生價值難    67
3.2.4  問題與機遇并存    67
3.3  大數(shù)據(jù)的計算模式    68
3.3.1  流式計算的應(yīng)用場景    69
3.3.2  流式大數(shù)據(jù)的特征    70
3.3.3  流式計算關(guān)鍵技術(shù)    72
3.4  大數(shù)據(jù)技術(shù)    74
3.4.1  數(shù)據(jù)技術(shù)的演進    75
3.4.2  分布式計算系統(tǒng)概述    76
3.4.3  Hadoop    77
3.4.4  Spark    80
3.4.5  Storm系統(tǒng)    82
3.4.6  Kafka系統(tǒng)    84
3.4.7  各類技術(shù)平臺比較    86
3.5  數(shù)據(jù)平臺    88
3.5.1  數(shù)據(jù)存儲和計算    89
3.5.2  數(shù)據(jù)質(zhì)量    92
3.5.3  數(shù)據(jù)管理    97
3.5.4  數(shù)據(jù)目錄    99
3.5.5  數(shù)據(jù)安全管控    100
3.5.6  數(shù)據(jù)準備    102
3.5.7  數(shù)據(jù)整合    107
3.5.8  數(shù)據(jù)服務(wù)    107
3.5.9  數(shù)據(jù)開發(fā)    107
3.5.10  數(shù)據(jù)平臺總結(jié)    108
3.6  大數(shù)據(jù)的商用途徑    109
3.6.1  數(shù)據(jù)化    109
3.6.2  算法化    109
3.6.3  應(yīng)用化（產(chǎn)品化）    110
3.6.4  生態(tài)化    111
3.7  大數(shù)據(jù)產(chǎn)業(yè)    112
3.7.1  大數(shù)據(jù)產(chǎn)業(yè)界定    112
3.7.2  大數(shù)據(jù)技術(shù)發(fā)展的推動力    114
3.7.3  重點行業(yè)的大數(shù)據(jù)應(yīng)用    117
3.7.4  大數(shù)據(jù)應(yīng)用發(fā)展趨勢    123
3.7.5  大數(shù)據(jù)的產(chǎn)業(yè)鏈構(gòu)成分析    123
3.8  政府大數(shù)據(jù)案例分析    125
3.8.1  政府有哪些數(shù)據(jù)資源    126
3.8.2  政府大數(shù)據(jù)應(yīng)用案例    126
3.8.3  政府大數(shù)據(jù)面臨的挑戰(zhàn)    130
3.8.4  政府大數(shù)據(jù)應(yīng)用啟示    131
第4章  機器學(xué)習(xí)概述    133
4.1  走進機器學(xué)習(xí)    133
4.1.1  什么是機器學(xué)習(xí)    133
4.1.2  機器學(xué)習(xí)的感性認識    133
4.1.3  機器學(xué)習(xí)的本質(zhì)    134
4.1.4  對機器學(xué)習(xí)的全面認識    135
4.1.5  機器學(xué)習(xí)、深度學(xué)習(xí)與人工智能    136
4.1.6  機器學(xué)習(xí)、數(shù)據(jù)挖掘與數(shù)據(jù)分析    137
4.2  機器學(xué)習(xí)的基本概念    139
4.2.1  數(shù)據(jù)集、特征和標簽    139
4.2.2  監(jiān)督式學(xué)習(xí)和非監(jiān)督式學(xué)習(xí)    140
4.2.3  強化學(xué)習(xí)和遷移學(xué)習(xí)    140
4.2.4  特征數(shù)據(jù)類型    141
4.2.5  訓(xùn)練集、驗證集和測試集    141
4.2.6  機器學(xué)習(xí)的任務(wù)流程    142
4.3  數(shù)據(jù)預(yù)處理    142
4.3.1  探索性分析    143
4.3.2  數(shù)據(jù)清洗    143
4.3.3  特征工程    145
第5章  模  型    146
5.1  什么是模型    146
5.2  誤差和MSE    148
5.3  模型的訓(xùn)練    149
5.3.1  模型與算法的區(qū)別    149
5.3.2  迭代法    150
5.4  梯度下降法    151
5.4.1  步長    152
5.4.2  優(yōu)化步長    152
5.4.3  三類梯度下降法    153
5.4.4  梯度下降的詳細算法    154
5.5  模型的擬合效果    155
5.5.1  欠擬合與過擬合    155
5.5.2  過擬合的處理方法    156
5.6  模型的評估與改進    157
5.6.1  機器學(xué)習(xí)模型的評估    157
5.6.2  機器學(xué)習(xí)算法與人類比較    158
5.6.3  改進策略    159
5.7  機器學(xué)習(xí)的實現(xiàn)框架    160
5.7.1  Python    160
5.7.2  scikit-learn    161
5.7.3  Spark MLlib    163
第6章  機器學(xué)習(xí)算法    164
6.1  算法概述    164
6.1.1  線性回歸    165
6.1.2  邏輯回歸    165
6.1.3  線性判別分析    166
6.1.4  分類與回歸樹分析    167
6.1.5  樸素貝葉斯    167
6.1.6  K近鄰算法    168
6.1.7  學(xué)習(xí)矢量量化    168
6.1.8  支持向量機    169
6.1.9  Bagging和隨機森林    170
6.1.10  Boosting和AdaBoost    170
6.2  支持向量機算法    171
6.3  邏輯回歸算法    173
6.4  KNN算法    175
6.4.1  超參數(shù)k    175
6.4.2  KNN實例：波士頓房價預(yù)測    177
6.4.3  算法評價    179
6.5  決策樹算法    179
6.6  集成算法    182
6.6.1  集成算法簡述    182
6.6.2  集成算法之Bagging    183
6.6.3  集成算法之Boosting    184
6.7  聚類算法    185
6.7.1  K均值聚類    185
6.7.2  均值漂移聚類    186
6.7.3  基于密度的聚類方法    187
6.7.4  用高斯混合模型的期望聚類    188
6.7.5  凝聚層次聚類    189
6.7.6  圖團體檢測    190
6.8  機器學(xué)習(xí)算法總結(jié)    192
第7章  深度學(xué)習(xí)    193
7.1  走進深度學(xué)習(xí)    193
7.1.1  深度學(xué)習(xí)為何崛起    194
7.1.2  從邏輯回歸到淺層神經(jīng)網(wǎng)絡(luò)    194
7.1.3  深度神經(jīng)網(wǎng)絡(luò)    196
7.1.4  正向傳播    197
7.1.5  激活函數(shù)    197
7.2  神經(jīng)網(wǎng)絡(luò)的訓(xùn)練    197
7.2.1  神經(jīng)網(wǎng)絡(luò)的參數(shù)    197
7.2.2  向量化    198
7.2.3  價值函數(shù)    198
7.2.4  梯度下降和反向傳播    198
7.3  神經(jīng)網(wǎng)絡(luò)的優(yōu)化和改進    199
7.3.1  神經(jīng)網(wǎng)絡(luò)的優(yōu)化策略    199
7.3.2  正則化方法    201
7.4  卷積神經(jīng)網(wǎng)絡(luò)    203
7.4.1  卷積運算    203
7.4.2  卷積層    204
7.4.3  CNN實例    205
7.5  深度學(xué)習(xí)的優(yōu)勢    210
7.6  深度學(xué)習(xí)的實現(xiàn)框架    211
第8章  TensorFlow    213
8.1  TensorFlow工具包    213
8.1.1  tf.estimator API    214
8.1.2  Pandas速成    214
8.1.3  必要的Python知識    216
8.2  個TensorFlow程序    219
8.2.1  裝載數(shù)據(jù)    220
8.2.2  探索數(shù)據(jù)    221
8.2.3  訓(xùn)練模型    221
8.2.4  評估模型    223
8.2.5  優(yōu)化模型    225
8.2.6  合成特征    231
8.2.7  離群值處理    234
8.3  過擬合處理    237
8.3.1  訓(xùn)練集和測試集    238
8.3.2  驗證集    239
8.3.3  過擬合實例    240
8.4  特征工程    249
8.4.1  數(shù)值型數(shù)據(jù)    249
8.4.2  字符串?dāng)?shù)據(jù)和one-hot編碼    250
8.4.3  枚舉數(shù)據(jù)（分類數(shù)據(jù)）    250
8.4.4  好特征    250
8.4.5  數(shù)據(jù)清洗    251
8.4.6  分箱（分桶）技術(shù)    252
8.4.7  特征工程實例    253
第9章  TensorFlow高級知識    263
9.1  特征交叉    263
9.1.1  什么是特征交叉    263
9.1.2  FTRL實踐    265
9.1.3  分桶（分箱）代碼實例    268
9.1.4  特征交叉代碼實例    271
9.2  L2正則化    274
9.3  邏輯回歸    276
9.4  分類    279
9.4.1  評價指標—準確率    279
9.4.2  評價指標—精確率    281
9.4.3  指標—召回率    281
9.4.4  評價指標之綜合考慮    282
9.4.5  ROC 曲線    284
9.4.6  預(yù)測偏差    285
9.4.7  分類代碼實例    286
9.5  L1正則化    298
第10章  神經(jīng)網(wǎng)絡(luò)    308
10.1  什么是神經(jīng)網(wǎng)絡(luò)    308
10.1.1  隱藏層    308
10.1.2  激活函數(shù)    309
10.1.3  ReLU    310
10.1.4  實例代碼    311
10.2  訓(xùn)練神經(jīng)網(wǎng)絡(luò)    320
10.2.1  正向傳播算法    320
10.2.2  反向傳播算法    322
10.2.3  標準化特征值    324
10.2.4  丟棄正則化    324
10.2.5  代碼實例    325
10.3  多類別神經(jīng)網(wǎng)絡(luò)    340
10.3.1  一對多方法    340
10.3.2  Softmax    341
10.3.3  代碼實例    343
10.4  嵌套    357
10.4.1  協(xié)同過濾    358
10.4.2  稀疏數(shù)據(jù)    359
10.4.3  獲取嵌套    360
10.4.4  代碼實例    360
第11章  知識圖譜    372
11.1  什么是知識圖譜    372
11.1.1  知識圖譜的定義    373
11.1.2  知識圖譜的架構(gòu)    373
11.1.3  開放知識圖譜    374
11.1.4  知識圖譜在行業(yè)數(shù)據(jù)分析中的應(yīng)用    376
11.2  知識圖譜構(gòu)建的關(guān)鍵技術(shù)    377
11.2.1  知識提取    378
11.2.2  語義類抽取    379
11.2.3  屬性和屬性值抽取    381
11.2.4  關(guān)系抽取    382
11.2.5  知識表示    382
11.2.6  知識融合    383
11.3  知識計算及應(yīng)用    384
11.4  企業(yè)知識圖譜建設(shè)    384
第12章  數(shù)據(jù)挖掘    387
12.1  什么是數(shù)據(jù)挖掘    387
12.1.1  數(shù)據(jù)挖掘技術(shù)產(chǎn)生的背景    387
12.1.2  數(shù)據(jù)挖掘與數(shù)據(jù)分析的區(qū)別    387
12.2  數(shù)據(jù)挖掘技術(shù)（方法）    388
12.2.1  分類    388
12.2.2  聚類    389
12.2.3  回歸分析    389
12.2.4  關(guān)聯(lián)規(guī)則    389
12.2.5  神經(jīng)網(wǎng)絡(luò)方法    390
12.2.6  Web數(shù)據(jù)挖掘    390
12.2.7  特征分析    390
12.2.8  偏差分析    391
12.3  大數(shù)據(jù)思維    391
12.3.1  信度與效度思維    391
12.3.2  分類思維    391
12.3.3  漏斗思維    392
12.3.4  邏輯樹思維    392
12.3.5  時間序列思維    393
12.3.6  指數(shù)化思維    393
12.3.7  循環(huán)／閉環(huán)思維    394
第13章  銀行業(yè)大數(shù)據(jù)和人工智能    395
13.1  四大行的進展    396
13.1.1  建設(shè)銀行    396
13.1.2  工商銀行    396
13.1.3  農(nóng)業(yè)銀行    398
13.1.4  中國銀行    398
13.2  其他銀行    399
13.2.1  廣發(fā)銀行    399
13.2.2  江蘇銀行    400
13.3  金融宏觀大數(shù)據(jù)分析    404
13.4  小結(jié)    407
13.4.1  大數(shù)據(jù)給銀行帶來的機遇與挑戰(zhàn)    407
13.4.2  銀行大數(shù)據(jù)體系建設(shè)的思考    409
第14章  醫(yī)療大數(shù)據(jù)和人工智能    412
14.1  醫(yī)療大數(shù)據(jù)的特點    412
14.2  醫(yī)療大數(shù)據(jù)處理模型    413
14.3  醫(yī)療大數(shù)據(jù)的AI應(yīng)用    416
14.3.1  智能輔助診療    416
14.3.2  影像數(shù)據(jù)分析與影像智能診斷    416
14.3.3  合理用藥    416
14.3.4  遠程監(jiān)控    417
14.3.5  精準醫(yī)療    417
14.3.6  成本與療效分析    417
14.3.7  績效管理    417
14.3.8  醫(yī)院控費    417
14.3.9  醫(yī)療質(zhì)量分析    418
14.4  人工智能的醫(yī)療應(yīng)用場景    418
14.5  人工智能要當(dāng)“醫(yī)生”    420
14.6  醫(yī)院大數(shù)據(jù)    421
14.7  機器學(xué)習(xí)在醫(yī)療行業(yè)中的應(yīng)用實例分析    422
第15章  公安大數(shù)據(jù)和人工智能    424
15.1  公安大數(shù)據(jù)的特點    424
15.2  建設(shè)流程    425
15.3  公安大數(shù)據(jù)管理平臺    426
15.3.1  公安大數(shù)據(jù)建模    427
15.3.2  公安大數(shù)據(jù)匯集    428
15.3.3  公安大數(shù)據(jù)服務(wù)    428
15.4  公安大數(shù)據(jù)挖掘分析    428
15.5  公安大數(shù)據(jù)AI應(yīng)用    429
15.6  小結(jié)    430
第16章  工農(nóng)業(yè)大數(shù)據(jù)和人工智能    431
16.1  中國制造2025    432
16.2  工業(yè)大數(shù)據(jù)    433
16.2.1  工業(yè)大數(shù)據(jù)面臨三大制約因素    433
16.2.2  工業(yè)大數(shù)據(jù)應(yīng)用的四大發(fā)展趨勢    434
16.2.3  發(fā)展工業(yè)大數(shù)據(jù)    434
16.3  AI 制造    435
16.4  農(nóng)業(yè)大數(shù)據(jù)    435
16.4.1  發(fā)展現(xiàn)狀    435
16.4.2  農(nóng)業(yè)大數(shù)據(jù)目標    435
16.4.3  農(nóng)業(yè)大數(shù)據(jù)建設(shè)任務(wù)    436
16.4.4  農(nóng)產(chǎn)品質(zhì)量安全追溯    437
附錄 A  國內(nèi)人工智能企業(yè)名單    438
附錄 B  大數(shù)據(jù)和人工智能網(wǎng)上資料    441
附錄 C  本書中采用的人工智能中英文術(shù)語    444
附錄 D  術(shù)語列表    446