數(shù)據(jù)準備：從獲取到整理

第1 章 數(shù)據(jù)來源
1.1 調(diào)查和觀察數(shù)據(jù)
1.1.1 調(diào)查數(shù)據(jù)
1.1.2 觀察數(shù)據(jù)
1.2 數(shù)據(jù)庫數(shù)據(jù)
1.2.1 關(guān)系型數(shù)據(jù)庫
1.2.2 非關(guān)系型數(shù)據(jù)庫
1.3 爬蟲數(shù)據(jù)
1.4 日志數(shù)據(jù)
第 2 章 數(shù)據(jù)類型
2.1 結(jié)構(gòu)化數(shù)據(jù)
2.1.1 基本數(shù)據(jù)類型
2.1.2 二維表結(jié)構(gòu)數(shù)據(jù)
2.2 集合數(shù)據(jù)類型
2.2.1 列表
2.2.2 元組
2.2.3 字典
2.2.4 集合
2.2.5 推導式
2.3 其他常見的結(jié)構(gòu)化數(shù)據(jù)
2.3.1 數(shù)組
2.3.2 矩陣
2.3.3 數(shù)列
2.3.4 數(shù)據(jù)幀  
2.3.5 日期時間型數(shù)據(jù)
2.4 非結(jié)構(gòu)化數(shù)據(jù)
2.4.1 網(wǎng)頁與 JSON 數(shù)據(jù)
2.4.2 圖像數(shù)據(jù)
2.4.3 音頻數(shù)據(jù)
2.4.4 視頻數(shù)據(jù)
第 3 章 數(shù)據(jù)編碼
3.1 數(shù)據(jù)編碼的基本要求和原則
3.2 數(shù)據(jù)編碼的結(jié)構(gòu)類型
3.2.1 分類編碼
3.2.2 順序編碼
3.2.3 分段編碼
3.2.4 值標簽編碼
3.2.5 Dummy/虛擬變量編碼
3.2.6 尺度編碼
第 4 章 數(shù)據(jù)清洗
4.1 異常值清洗
4.1.1 異常值識別
4.1.2 異常值處理
4.2 重復數(shù)據(jù)清洗
4.2.1 重復數(shù)據(jù)檢測
4.2.2 重復數(shù)據(jù)刪除
4.3 低頻類別清洗
4.3.1 觀察低頻識別
4.3.2 低頻類別處理
4.4 數(shù)據(jù)糾錯
4.4.1 邏輯糾錯
4.4.2 格式糾錯
4.5 數(shù)據(jù)糾偏
4.5.1 數(shù)據(jù)偏度識別和測量
4.5.2 數(shù)據(jù)偏度的糾正
第5 章 數(shù)據(jù)插補
5.1 缺失值產(chǎn)生原因及其表現(xiàn)
5.1.1 缺失值的含義
5.1.2 缺失值的類型
5.1.3 缺失值產(chǎn)生的原因
5.1.4 缺失值的影響 
5.1.5 缺失值的表現(xiàn)形式
5.2 缺失值插補
5.2.1 簡單統(tǒng)計量插補
5.2.2 聚類插補
5.2.3 模型插補
5.3 MVP
5.3.1 MVP 分析思路
5.3.2 MVP 提取方法
第 6 章 數(shù)據(jù)配平
6.1 不平衡數(shù)據(jù)
6.1.1 不平衡數(shù)據(jù)的含義
6.1.2 不平衡數(shù)據(jù)的影響
6.2 數(shù)據(jù)配平方法
6.2.1 欠采樣
6.2.2 過采樣 
6.2.3 混合采樣
6.3 數(shù)據(jù)配平的影響 
6.3.1 數(shù)據(jù)配平的效果
6.3.2 模型預測結(jié)果的偏離及其校正方法 
6.3.3 欠采樣對預測穩(wěn)定性的影響
第 7 章 數(shù)據(jù)重構(gòu)
7.1 數(shù)據(jù)組合
7.1.1 序列組合
7.1.2 水平組合
7.1.3 垂直組合
7.1.4 深度組合
7.1.5 列組合
7.1.6 行組合
7.2 軸向連接
7.2.1 左右拼接
7.2.2 數(shù)據(jù)追加
7.3 數(shù)據(jù)融合
7.3.1 鍵融合
7.3.2 索引融合
7.3.3 插補融合
7.4 數(shù)據(jù)重塑
7.4.1 Panel
7.4.2 層次化索引
7.4.3 stack與unstack
7.5 數(shù)據(jù)分拆
7.5.1 水平分拆
7.5.2 垂直分拆
7.5.3 深度分拆
7.5.4 邏輯分拆
7.5.5 隨機采樣與數(shù)據(jù)分割
7.6 數(shù)據(jù)聚合
第 8 章 數(shù)據(jù)變換
8.1 數(shù)據(jù)變換的含義和作用
8.2 連續(xù)數(shù)據(jù)函數(shù)變換
8.2.1 對數(shù)變換
8.2.2 平方根變換
8.2.3 平方變換
8.2.4 倒數(shù)變換
8.2.5 冪變換與 BOX-COX 變換 176
8.3 連續(xù)數(shù)據(jù)離散化
8.3.1 客觀法
8.3.2 主觀法
8.4 數(shù)據(jù)次序化
8.4.1 升降次序
8.4.2 位置與秩
8.4.3 秩的計算方法
8.4.4 秩的缺失值處理
8.4.5 DataFrame 中的秩
8.5 多分類數(shù)據(jù)啞變量化
8.5.1 啞變量的概念與特征
8.5.2 啞變量與 one-hot 碼
8.5.3 多分類數(shù)據(jù)轉(zhuǎn)換為啞變量 196
8.5.4 多分類數(shù)據(jù)轉(zhuǎn)換為 one-hot 碼
8.6 定性數(shù)據(jù)數(shù)量化
8.6.1 順序數(shù)據(jù)轉(zhuǎn)化為得分
8.6.2 構(gòu)造定性數(shù)據(jù)的平滑值
第 9 章 數(shù)據(jù)縮放
9.1 數(shù)據(jù)縮放的概念
9.2 數(shù)據(jù)縮放方法
9.2.1 中心化
9.2.2 標準化
9.2.3 Min-Max 縮放
9.2.4 Max-ABS 縮放
9.2.5 Robust 縮放
第 10 章 數(shù)據(jù)歸約
10.1 數(shù)據(jù)歸約的概念
10.2 變量選擇方法
10.2.1 使用統(tǒng)計量
10.2.2 決策樹模型
10.2.3 Lasso 算法
10.3 樣本歸約
參考文獻