大數(shù)據(jù)分析師面試筆試寶典

第1章 面試經(jīng)驗／1
1.1 大數(shù)據(jù)分析技能要求／1
1.1.1 數(shù)據(jù)分析師／1
1.1.2 數(shù)據(jù)開發(fā)工程師／4
1.1.3 數(shù)據(jù)挖掘工程師／7
1.1.4 職業(yè)能力模型／10
1.2 數(shù)據(jù)分析工作流程／10
1.2.1 組織架構／10
1.2.2 分析流程／11
1.3 數(shù)據(jù)分析師臨場面試／13
1.3.1 如何準備面試／13
1.3.2 面試問題／16
1.4 本章總結／18
第2章 統(tǒng)計學知識／19
2.1 概率知識／19
2.1.1 概率模型之間的關系解析／19
2.1.2 概率相關面試題／25
2.1.3 貝葉斯公式／28
2.2 參數(shù)估計／31
2.2.1 點估計／31
2.2.2 區(qū)間估計／34
2.3 假設檢驗／41
2.3.1 假設檢驗原理／41
2.3.2 兩類錯誤／43
2.3.3 假設檢驗的常用方法／45
2.4 抽樣技術解析／49
2.4.1 樣本量影響因素分析／50
2.4.2 假設檢驗樣本量計算／52
2.4.3 參數(shù)估計樣本量計算／53
2.5 馬爾可夫模型／54
2.5.1 馬爾可夫過程原理／55
2.5.2 馬爾可夫模型計算／55
2.6 隱馬爾可夫模型／57
2.6.1 HMM和三類問題／57
2.6.2 求概率問題／58
2.6.3 預測問題／59
2.6.4 學習問題／60
2.7 EM算法／62
2.7.1 基本思想／62
2.7.2 算法流程／63
2.8 本章總結／63
第3章 數(shù)據(jù)挖掘算法／65
3.1 常用聚類算法／66
3.1.1 Kmeans算法／66
3.1.2 DBSCAN算法／68
3.1.3 聚類算法評估／69
3.2 常用分類算法／74
3.2.1 決策樹／74
3.2.2 樸素貝葉斯／79
3.2.3 KNN／80
3.2.4 SVM／81
3.2.5 邏輯回歸／84
3.2.6 BP神經(jīng)網(wǎng)絡／88
3.3 集成學習算法／91
3.3.1 Bagging原理／92
3.3.2 隨機森林／93
3.3.3 Boosting原理／95
3.3.4 Adaboost算法／96
3.3.5 Stacking算法／99
3.3.6 分類算法評估／100
3.3.7 分類算法小結／108
3.4 關聯(lián)規(guī)則算法／108
3.4.1 Apriori／108
3.4.2 Fp_Growth／111
3.4.3 算法評估／112
3.5 數(shù)據(jù)降維算法／112
3.5.1 降維技術基本理論／112
3.5.2 特征選擇／113
3.5.3 主成分分析／116
3.5.4 SVD分解／118
3.5.5 降維方法選擇／121
3.6 數(shù)據(jù)升維方法／121
3.6.1 分箱／121
3.6.2 交互式特征／123
3.7 推薦算法／124
3.7.1 基于內(nèi)容推薦／124
3.7.2 基于用戶的協(xié)同過濾／125
3.7.3 基于物品的協(xié)同過濾／126
3.7.4 SVD推薦原理／127
3.7.5 推薦算法評估／130
3.8 模型優(yōu)化方法／130
3.8.1 機器學習抽樣／130
3.8.2 相似性度量／134
3.8.3 損失函數(shù)／136
3.8.4 過擬合與欠擬合／138
3.8.5 正則化方法／139
3.8.6 剪枝方法／141
3.8.7 模型選擇／144
3.9 本章總結／145
第4章 大數(shù)據(jù)技術解析／147
4.1 數(shù)據(jù)埋點技術／148
4.1.1 技術原理／148
4.1.2 代碼埋點／149
4.1.3 可視化埋點／149
4.1.4 無埋點技術／150
4.1.5 埋點需求分析／150
4.1.6 選擇部署方式／151
4.2 網(wǎng)絡爬蟲技術／152
4.2.1 聚焦爬蟲工作流程／153
4.2.2 數(shù)據(jù)解析流程／154
4.2.3 爬行策略／154
4.2.4 網(wǎng)頁更新策略／155
4.3 數(shù)據(jù)倉庫技術／156
4.3.1 數(shù)倉名詞解析／156
4.3.2 數(shù)據(jù)建模方法／161
4.3.3 數(shù)倉建設原則／164
4.3.4 SQL查詢／166
4.3.5 SQL查詢優(yōu)化／170
4.4 ETL技術／171
4.4.1 數(shù)據(jù)質(zhì)量評估／172
4.4.2 ETL流程／173
4.4.3 缺失值處理方法／177
4.4.4 異常值識別方法／179
4.5 Hadoop技術／180
4.5.1 Hadoop核心之HDFS／181
4.5.2 Hadoop核心之MapReduce／184
4.5.3 YARN／190
4.5.4 WordCount源碼／192
4.5.5 MapReduce優(yōu)化／194
4.6 Spark技術／196
4.6.1 Spark集群運行／196
4.6.2 Spark程序運行／199
4.6.3 Spark RDD／202
4.6.4 Spark存儲／210
4.6.5 Spark 內(nèi)存管理／216
4.6.6 Spark資源分配／222
4.6.7 Spark Shuffle機制／224
4.6.8 Spark的算子調(diào)優(yōu)／230
4.6.9 數(shù)據(jù)傾斜問題解析／231
4.7 本章總結／235
第5章 數(shù)據(jù)可視化／237
5.1 圖表類型／237
5.2 繪圖原則／243
5.3 ECharts快速上手／247
5.3.1 ECharts引入／247
5.3.2 準備DOM容器／248
5.3.3 柱狀圖示例／249
5.4 本章總結／249
附錄／250
附錄A 筆面試真題／250