從統(tǒng)計世界走向人工智能：實戰(zhàn)案例與算法

目錄
序
前言
第1章 數(shù)學→統(tǒng)計→人工智能 1
1.1 數(shù)學與統(tǒng)計 1
1.2 數(shù)據(jù)與統(tǒng)計 1
1.2.1 動態(tài)的數(shù)據(jù) 1
1.2.2 非結構化的數(shù)據(jù) 2
1.2.3 商業(yè)場景的數(shù)據(jù)初始化 3
1.2.4 統(tǒng)計中的數(shù)據(jù)與商業(yè)中的數(shù)據(jù) 3
1.3 統(tǒng)計與人工智能 3
1.3.1 人工智能的開端 5
1.3.2 人工智能的解決方法 5
1.3.3 從統(tǒng)計建模到人工智能 6
1.4 人工智能與企業(yè)商業(yè)賦能的進階發(fā)展 6
1.4.1 階段性發(fā)展 6
1.4.2 更高一層發(fā)展模式 7
1.5 人工智能+人：未來職業(yè)暢想 7
1.5.1 人與機器的充分融合 7
1.5.2 歷史上企業(yè)轉型的特征 8
1.5.3 人機協(xié)作與融合 8
1.5.4 未來職業(yè)場景 9
第2章 點評數(shù)據(jù)對上市公司的影響——基于統(tǒng)計回歸模型 11
2.1 通過點評網(wǎng)站數(shù)據(jù)研究上市公司 11
2.1.1 有效市場假說 11
2.1.2 Yelp數(shù)據(jù)庫介紹 11
2.2 點評網(wǎng)站數(shù)據(jù)處理 12
2.2.1 數(shù)據(jù)獲取 12
2.2.2 變量提取 14
2.2.3 面板數(shù)據(jù)準備 16
2.3 回歸模型設計 18
2.3.1 模型一：普通 OLS 18
2.3.2 模型二：引入時間趨勢項 18
2.3.3 模型三：固定效應模型 19
2.4 點評網(wǎng)站對公司的價值分析 19
2.5 延伸場景及應用 22
第3章 LASSO回歸及重要能源價格預測 24
3.1 通過多變量研究重要能源價格 24
3.2 回歸模型的遞進 25
3.2.1 從線性回歸到Ridge回歸 25
3.2.2 Ridge回歸與LASSO回歸 26
3.3 用LASSO回歸預測重要能源價格 28
3.3.1 預測框架——理解行業(yè)邏輯 28
3.3.2 數(shù)據(jù)清洗 29
3.3.3 模型初試——讓模型跑起來 29
3.3.4 如何改進——提高預測精度 31
3.4 LASSO回歸總結以及延伸應用 35
第4章 樸素貝葉斯方法在財務報表分析中的應用 36
4.1 通過三大報表推演企業(yè)未來財務 36
4.2 樸素貝葉斯理論介紹 37
4.2.1 貝葉斯理論的思想 37
4.2.2 樸素貝葉斯方法 38
4.2.3 樸素貝葉斯方法的參數(shù)估計 38
4.3 用樸素貝葉斯方法對企業(yè)未來財務的預測 39
4.3.1 分析框架 39
4.3.2 數(shù)據(jù)準備 40
4.3.3 模型測試 42
4.3.4 模型改進 45
4.4 樸素貝葉斯方法的總結以及延伸應用 48
第5章 MCMC方法及生物案例分析 49
5.1 MCMC理論介紹 49
5.1.1 馬氏鏈 49
5.1.2 蒙特卡羅方法 50
5.1.3 MCMC方法 51
5.1.4 Metropolis-Hastings算法 51
5.1.5 獨立鏈 52
5.1.6 隨機游動鏈 52
5.1.7 Gibbs抽樣 53
5.1.8 鏈的診斷 53
5.2 癌細胞分裂實例介紹 53
5.2.1 結腸癌細胞背景介紹 53
5.2.2 案例分析 54
5.2.3 MCMC方法總結以及延伸應用 56
第6章 聚類分析及銀行信用畫像 58
6.1 通過客戶數(shù)據(jù)分類建立銀行信貸標準 58
6.2 無監(jiān)督學習之聚類分析 59
6.2.1 距離：聚類的基礎 60
6.2.2 K-均值聚類 61
6.2.3 均值遷移聚類 63
6.2.4 基于密度的聚類方法 65
6.2.5 聚類方法的對比與評價 67
6.3 用聚類方法對銀行信貸質量分類 68
6.3.1 分析框架 68
6.3.2 數(shù)據(jù)準備 69
6.3.3 模型初試 72
6.3.4 模型改進 76
6.4 聚類分析總結以及延伸應用 81
第7章 基于隨機森林模型的高頻交易訂單結構分析與價格變動預測 82
7.1 采用隨機森林模型做高頻交易 82
7.2 隨機森林模型介紹 83
7.2.1 決策樹 83
7.2.2 信息熵 84
7.2.3 隨機森林算法 85
7.2.4 OOB方法 86
7.2.5 參數(shù)選擇概述 86
7.3 高頻交易訂單結構信息挖掘 87
7.3.1 分析框架 87
7.3.2 數(shù)據(jù)清洗 87
7.3.3 模型初試 91
7.3.4 模型改進 94
7.4 隨機森林方法總結以及延伸應用 96
第8章 基于Xgboost的汽車行業(yè)供需預測 97
8.1 梯度提升與Xgboost 97
8.1.1 GB 97
8.1.2 GBDT 98
8.1.3 Xgboost 98
8.1.4 分布式Xgboost的設計理念 99
8.2 汽車行業(yè)案例 100
8.2.1 汽車案例的行業(yè)分析 100
8.2.2 數(shù)據(jù)預處理 101
8.2.3 Xgboost模型訓練 103
8.2.4 結果展示 104
8.3 Xgboost在汽車行業(yè)應用的案例評價以及延伸應用 105
第9章 支持向量機原理及在投資擇時中的運用 106
9.1 通過時機選擇研究金融市場的買賣 106
9.2 SVM介紹 106
9.2.1 SVM是什么 106
9.2.2 線性分類器 108
9.2.3 核函數(shù) 109
9.3 在 Python中使用SVM 111
9.4 量化投資中的應用——使用SVM進行期貨擇時 113
9.4.1 技術指標擇時背景 113
9.4.2 SVM股指期貨擇時策略 114
9.4.3 SVM擇時策略結果分析 115
9.4.4 SVM擇時策略優(yōu)化改進 118
9.5 SVM擇時總結以及延伸應用 118
第10章 基于LDA模型的電商產(chǎn)品評論主題分析 119
10.1 通過文本信息調(diào)研獲得用戶評價分析 119
10.1.1 文本挖掘 119
10.1.2 LDA模型 119
10.2 調(diào)研文本的數(shù)據(jù)處理 120
10.2.1 數(shù)據(jù)來源 120
10.2.2 文本評論分詞 120
10.2.3 情感分析 121
10.3 LDA主題模型介紹 121
10.3.1 模型介紹 121
10.3.2 模型參數(shù)估計 122
10.3.3 模型的評價 123
10.4 LDA模型的算法 124
10.5 電商產(chǎn)品評價分析 125
10.5.1 結果展示 125
10.5.2 模型的不足和改進 126
10.6 LDA模型總結以及延伸應用 127
第11章 LSTM神經(jīng)網(wǎng)絡及糖尿病知識圖譜構建 128
11.1 基于神經(jīng)網(wǎng)絡的糖尿病知識圖譜構建 128
11.1.1 自然語言處理 128
11.1.2 實體識別 128
11.1.3 糖尿病文本數(shù)據(jù)集介紹 129
11.2 BiLSTM+CRF算法理論介紹 129
11.2.1 RNN 129
11.2.2 LSTM 131
11.2.3 BiLSTM 133
11.2.4 CRF 134
11.3 BiLSTM+CRF模型評價 134
11.3.1 獲得上下文信息 134
11.3.2 考慮到輸出規(guī)則 134
11.4 糖尿病知識圖譜構建過程 135
11.4.1 BiLSTM+CRF模型框架分析 135
11.4.2 數(shù)據(jù)處理 136
11.4.3 模型初試 141
11.4.4 BiLSTM+CRF模型改進 144
第12章 卷積神經(jīng)網(wǎng)絡在人臉識別中的應用 145
12.1 人臉識別技術的最新發(fā)展 145
12.2 基于卷積神經(jīng)網(wǎng)絡的MINST手寫數(shù)字識別 145
12.2.1 卷積神經(jīng)網(wǎng)絡 145
12.2.2 MINST手寫數(shù)字識別 146
12.2.3 卷積層 146
12.2.4 池化層 147
12.2.5 全連接層 147
12.2.6 代碼：MINST手寫數(shù)字識別的Keras實現(xiàn) 147
12.2.7 數(shù)據(jù)預處理 148
12.2.8 模型定義 149
12.2.9 模型訓練 150
12.2.10 效果評估 150
12.2.11 模型預測 150
12.2.12 總結 150
12.3 通過FaceNet網(wǎng)絡結構實現(xiàn)人臉識別 151
12.3.1 FaceNet網(wǎng)絡結構 151
12.3.2 人臉識別的案例介紹 152
12.3.3 案例準備 152
12.3.4 人臉檢測 152
12.3.5 人臉識別 154
12.4 卷積神經(jīng)網(wǎng)絡總結和延伸應用 155
參考文獻 156
彩圖