尋路大數(shù)據(jù)：海量數(shù)據(jù)與大規(guī)模分析

第1 部分 大數(shù)據(jù)時代指引 1
第1 章 數(shù)據(jù)成功四原則 3
1．1 當(dāng)數(shù)據(jù)成為一件“大”事 3
1．2 數(shù)據(jù)和單臺服務(wù)器 4
1．3 大數(shù)據(jù)的權(quán)衡 5
1．3．1 構(gòu)建可（限）擴(kuò)展的解決方案 6
1．3．2 構(gòu)建可（在互聯(lián)網(wǎng)上）共享數(shù)據(jù)的系統(tǒng) 7
1．3．3 構(gòu)建解決方案，而非基礎(chǔ)設(shè)施 8
1．3．4 關(guān)注從數(shù)據(jù)中解放價值 8
1．4 大數(shù)據(jù)流水線剖析 9
1．5 終極數(shù)據(jù)庫 10
1．6 總結(jié) 10
第2 部分 收集和共享海量數(shù)據(jù) 13
第2 章 托管和共享TB 級原始數(shù)據(jù) 15
2．1 文件之殤 16
2．1．1 共享大量文件的挑戰(zhàn) 16
2．2 存儲：基礎(chǔ)設(shè)施即服務(wù) 17
2．2．1 網(wǎng)絡(luò)很慢 18
2．3 選擇合適的數(shù)據(jù)格式 18
2．3．1 XML ：數(shù)據(jù)，描述你自己 20
2．3．2 JSON ：程序員的選擇 21
2．4 字符編碼 22
2．4．1 文件轉(zhuǎn)換 24
XXII 目錄
2．5 移動中的數(shù)據(jù)：數(shù)據(jù)序列化格式 25
2．5．1 Apache Thrift 和Protocol Buffers 26
2．6 總結(jié) 27
第3 章 構(gòu)建基于NoSQL 的Web 應(yīng)用采集眾包數(shù)據(jù) 29
3．1 關(guān)系型數(shù)據(jù)庫：命令及控制 30
3．1．1 關(guān)系數(shù)據(jù)庫的ACID 測試 32
3．2 當(dāng)關(guān)系型數(shù)據(jù)庫遇上互聯(lián)網(wǎng) 33
3．2．1 CAP 原理與BASE 34
3．3 非關(guān)系型數(shù)據(jù)庫的模式 36
3．3．1 鍵- 值數(shù)據(jù)庫 36
3．3．2 文檔存儲 38
3．4 為寫入性能優(yōu)化：Redis 40
3．5 在多個Redis 實例上分片 43
3．5．1 使用Twemproxy 自動分區(qū) 44
3．5．2 Redis 的替代選項 46
3．6 NewSQL ：Codd 歸來 46
3．7 總結(jié) 47
第4 章 解決數(shù)據(jù)孤島問題的策略 49
4．1 堆滿術(shù)語的倉庫 49
4．1．1 實踐中的問題 51
4．1．2 數(shù)據(jù)合規(guī)與安全規(guī)劃 52
4．1．3 走進(jìn)數(shù)據(jù)倉庫 53
4．1．4 數(shù)據(jù)倉庫的口訣：抽取、轉(zhuǎn)換和加載 54
4．2 Hadoop ：數(shù)據(jù)倉庫中的大象 55
4．3 數(shù)據(jù)孤島也可能是個優(yōu)點 55
4．3．1 專注于數(shù)據(jù)問題，而不是技術(shù) 56
4．3．2 鼓勵員工提出他們自己的問題 57
4．3．3 投資溝通數(shù)據(jù)孤島的技術(shù) 57
4．4 融合：數(shù)據(jù)孤島的終結(jié) 58
目錄XXIII
4．4．1 Luhn 的商業(yè)智能系統(tǒng)是否能成為現(xiàn)實 59
4．5 總結(jié) 59
第3 部分 數(shù)據(jù)探究 61
第5 章 使用Hadoop、Hive 和Shark 探索大規(guī)模數(shù)據(jù)集 63
5．1 什么是數(shù)據(jù)倉庫 64
5．2 Apache Hive ：在Hadoop 上進(jìn)行交互式查詢 66
5．2．1 Hive 用例 66
5．2．2 Hive 實戰(zhàn) 67
5．2．3 在Hive 中使用其他數(shù)據(jù)源 71
5．3 Shark ：以內(nèi)存的速度進(jìn)行查詢 72
5．4 云中的數(shù)據(jù)倉庫 73
5．5 總結(jié) 74
第6 章 使用Google BigQuery 構(gòu)建數(shù)據(jù)信息中心 77
6．1 分析型數(shù)據(jù)庫 78
6．2 Dremel ：均貧富 79
6．2．1 Dremel 與MapReduce 的不同之處 80
6．3 BigQuery ：數(shù)據(jù)分析即服務(wù) 81
6．3．1 BigQuery 的查詢語言 82
6．4 建造自己的大數(shù)據(jù)信息面板 83
6．4．1 授權(quán)訪問BigQuery API 84
6．4．2 運行查詢并獲取結(jié)果 87
6．4．3 緩存查詢結(jié)果 88
6．4．4 添加可視化圖形 89
6．5 分析型查詢引擎的未來 91
6．6 總結(jié) 91
第7 章 探索大數(shù)據(jù)的可視化策略 93
7．1 警世良言：將數(shù)據(jù)翻譯成故事 94
7．2 人類尺度 VS 機器尺度 97
XXIV 目錄
7．2．1 交互性 97
7．3 開發(fā)交互式數(shù)據(jù)應(yīng)用 98
7．3．1 使用R 和ggplot2 實現(xiàn)交互式可視化 98
7．3．2 matplotlib： Python 的2D 圖形庫 100
7．3．3 D3．js ：用于Web 的交互式可視化庫 100
7．4 總結(jié) 104
第4 部分 構(gòu)建數(shù)據(jù)流水線 107
第8 章 整合：MapReduce 數(shù)據(jù)流水線 109
8．1 數(shù)據(jù)流水線是什么 109
8．1．1 正確的工具 110
8．2 使用Hadoop Streaming 搭建數(shù)據(jù)流水線 111
8．2．1 MapReduce 和數(shù)據(jù)轉(zhuǎn)換 111
8．2．2 最簡單的流水線：stdin 到stdout 113
8．3 單步MapReduce 變換 115
8．3．1 從原始NVSS 數(shù)據(jù)中抽取相關(guān)信息：map 階段 116
8．3．2 合計每月出生數(shù)：reducer 階段 117
8．3．3 在本地測試MapReduce 流水線 118
8．3．4 在Hadoop 集群上運行我們的MapReduce 作業(yè) 119
8．4 降低復(fù)雜性：Hadoop 上Python 的MapReduce 框架 120
8．4．1 使用mrjob 重寫Hadoop Streaming 示例 121
8．4．2 建造一個多步流水線 122
8．4．3 在Elastic MapReduce 上運行mrjob 腳本 124
8．4．4 其他基于Python 的MapReduce 框架 125
8．5 總結(jié) 125
第9 章 使用Pig 和Cascading 構(gòu)建數(shù)據(jù)轉(zhuǎn)換工作流 127
9．1 大規(guī)模數(shù)據(jù)工作流實戰(zhàn) 128
9．2 多步MapReduce 轉(zhuǎn)換真復(fù)雜 128
9．2．1 Apache Pig ：拒絕復(fù)雜 129
目錄XXV
9．2．2 使用交互式Grunt shell 運行Pig 130
9．2．3 過濾和優(yōu)化數(shù)據(jù)工作流 132
9．2．4 以批處理模式運行Pig 腳本 132
9．3 Cascading ：構(gòu)建健壯的數(shù)據(jù)工作流應(yīng)用 133
9．3．1 以source 和sink 的方式思考 134
9．3．2 構(gòu)建Cascading 應(yīng)用 135
9．3．3 創(chuàng)建一個Cascade ：一個簡單的JOIN 例子 136
9．3．4 在Hadoop 集群上部署Cascading 應(yīng)用 138
9．4 何時選擇Pig 或Cascading 139
9．5 總結(jié) 140
第5 部分 基于大規(guī)模數(shù)據(jù)集的機器學(xué)習(xí) 141
第10 章 使用Mahout 構(gòu)建數(shù)據(jù)分類系統(tǒng) 143
10．1 機器能否預(yù)測未來 144
10．2 機器學(xué)習(xí)的挑戰(zhàn) 144
10．2．1 貝葉斯分類 146
10．2．2 聚類 146
10．2．3 推薦引擎 148
10．3 Apache Mahout ：可伸縮的機器學(xué)習(xí)工具 148
10．3．1 使用Mahout 進(jìn)行文本分類 149
10．4 MLbase ：分布式機器學(xué)習(xí)框架 152
10．5 總結(jié) 152
第6 部分 基于大規(guī)模數(shù)據(jù)集的統(tǒng)計分析 155
第11 章 使用R 語言處理大數(shù)據(jù)集 157
11．1 統(tǒng)計學(xué)為什么性感 158
11．1．1 R 處理大型數(shù)據(jù)集的局限性 159
11．1．2 R 的數(shù)據(jù)幀和矩陣 161
XXVI 目錄
11．2 處理大數(shù)據(jù)集的策略 162
11．2．1 大矩陣處理：bigmemory 和biganalytics 162
11．2．2 ff： 使用大于內(nèi)存的數(shù)據(jù)幀 164
11．2．3 biglm ：大規(guī)模數(shù)據(jù)集的線性回歸 165
11．2．4 RHadoop： 使用R 訪問Apache Hadoop 166
11．3 總結(jié) 168
第12 章 使用Python 和Pandas 構(gòu)建分析工作流 171
12．1 數(shù)據(jù)樂園中自在的蟒蛇――Python 172
12．1．1 為統(tǒng)計性計算選擇一門語言 172
12．1．2 擴(kuò)展現(xiàn)有代碼 173
12．1．3 工具和測試 174
12．2 用于數(shù)據(jù)處理的Python 庫 174
12．2．1 NumPy 175
12．2．2 SciPy ：Python 的科學(xué)計算庫 176
12．2．3 數(shù)據(jù)分析庫Pandas 178
12．3 構(gòu)建更復(fù)雜的工作流 182
12．3．1 處理損壞或丟失的記錄 184
12．4 iPython ：科學(xué)計算工具鏈的最后一環(huán) 185
12．4．1 在集群上并行執(zhí)行iPython 186
12．5 總結(jié) 190
第7 部分 展望未來 191
第13 章 何時選擇自制、購買或外包 193
13．1 功能重合的解決方案 193
13．2 理解你的數(shù)據(jù)問題 195
13．3 自制還是購買問題的參考手冊 197
13．3．1 你已經(jīng)對哪些技術(shù)有所投入 197
13．3．2 從小處著手 198
13．3．3 規(guī)劃時考慮可擴(kuò)展性 198
目錄XXVII
13．4 私人數(shù)據(jù)中心 199
13．5 了解開源的成本 201
13．6 一切皆服務(wù) 202
13．7 總結(jié) 202
第14 章 未來：數(shù)據(jù)科技的幾個趨勢 205
14．1 Hadoop ：攪局者與被攪局者 206
14．2 一切皆在云中 208
14．3 數(shù)據(jù)科學(xué)家的興衰 209
14．4 融合：終極數(shù)據(jù)庫 212
14．5 文化融合 213
14．6 總結(jié) 214