大數據的沖擊

目　錄

第1章　什么是大數據
1.1　The data deluge　2
1.2　用3V來描述大數據的特征　3
1.3　廣義的大數據　8
1.4　為什么現(xiàn)在要談大數據？①大數據的民主化　9
1.5　為什么現(xiàn)在要談大數據？②硬件性價比的提高以及軟件技術的進步　10
1.6　為什么現(xiàn)在要談大數據？③云計算的普及　12
1.7　從“看到過去”到“預測未來”BI與大數據的交叉　18
1.8　從點(交易數據)分析到線(交互數據)分析　20
1.9　大數據的分析工具　22
本章小結　24

第2章　支撐大數據的技術
2.1　人手不足　26
2.2　什么是Hadoop　26
2.3　發(fā)行版本的增加　30
2.4　發(fā)行版本眾多的原因　33
2.5　NoSQL數據庫　34
2.6　風投資本對Hadoop、NoSQL企業(yè)的熱切關注　39
2.7　大數據時代的數據處理基礎　41
2.8　備受關注的分析型數據庫　42
2.9　流數據處理(實時數據處理)　45
2.10　自行開發(fā)流數據處理技術的互聯(lián)網企業(yè)　47
2.11　機器學習、統(tǒng)計分析等　49
2.12　自然語言處理及其他　51
本章小結　53

第3章　以大數據為武器的企業(yè)歐美企業(yè)篇
3.1　大步邁進的互聯(lián)網企業(yè)對大數據的運用　56
3.2　eBay：每天產生50TB的數據　59
3.2.1　超乎尋常的數據產生速度　60
3.2.2　eBay的數據分析基礎架構　61
3.3　Zynga：披著游戲公司外衣的分析公司　64
3.3.1　社交游戲經濟的重要指標　65
3.3.2　提高病毒系數的方法　66
3.3.3　數據驅動游戲　67
3.3.4　三次點擊法則　68
3.4　Centrica：通過智能電表分析能源消耗模式　69
3.4.1　英國電力、燃氣收費的實際情況　70
3.4.2　使用智能電表所帶來的影響　71
3.5　Catalina　Marketing：通過收銀臺優(yōu)惠券對顧客的購買行為進行設計　75
3.5.1　存儲超過1億人的購物記錄　76
3.5.2　預測顧客的購買行為，刺激來店消費　78
本章小結　80

第4章　以大數據為武器的企業(yè)日本企業(yè)篇
4.1　對大數據的運用正在日本興起　84
4.2　小松：在日本運用大數據的先驅者　84
4.3　Recruit：通過對Hadoop的充分運用，成功實現(xiàn)對數據分析的觀念革新　88
4.3.1　幾乎整個公司都在運用Hadoop　89
4.3.2　支撐Recruit大數據分析的Hadoop基礎架構　91
4.3.3　成功的秘訣在于組織體制　93
4.3.4　在Recruit眼中Hadoop的真正價值是什么　94
4.4　GREE：快速成長的原動力在于數據驅動型工作方式　97
4.4.1　比起個人的感覺，數千萬人的數據更可信　100
4.4.2　數據驅動型工作方式的支撐力是對日志數據的執(zhí)著　102
4.4.3　集結了擁有多種技能的專業(yè)人員　104
4.4.4　將信息丟失控制在最低限度的團隊體制　105
4.5　麥當勞：在現(xiàn)實世界中實現(xiàn)一對一營銷　106
4.5.1　創(chuàng)新性的優(yōu)惠券背后是周到的準備　107
4.5.2　關注將手機用作積分卡的模式　110
本章小結　111

第5章　大數據的運用模式
5.1　大數據的運用實例　114
5.2　大數據運用模式的分類　118
5.2.1　個別優(yōu)化·批處理型(圖表5-2)　119
5.2.2　個別優(yōu)化·實時型(圖表5-4)　121
5.2.3　整體優(yōu)化·批處理型(圖表5-5)　123
5.2.4　整體優(yōu)化·實時型(圖表5-8)　127
5.3　大數據的運用級別　128
5.3.1　對過去/現(xiàn)狀的把握　128
5.3.2　發(fā)現(xiàn)模式　129
5.3.3　預測　130
5.3.4　優(yōu)化　130
5.4　專欄：動態(tài)定價　132
5.5　大數據運用的真正價值　134
本章小結　137

第6章　大數據時代的隱私問題
6.1　在隱私與創(chuàng)新的夾縫中生存　140
6.2　美國國會的關注　142
6.3　建立社交化檔案的是非　146
6.4　Do Not Track　149
6.5　消費者隱私權法案　151
6.6　采用主動許可方式的歐盟　155
6.7　數據保護指令同樣面臨修訂　156
6.8　在日本需要考慮個人信息保護法及各行業(yè)領域的指導方針　159
6.9　在向第三方提供信息上采用主動許可方式的指導方針　162
6.10　日本政府的討論情況　162
6.11　經濟產業(yè)省以“信息大航海計劃”為契機展開討論　163
6.12　總務省從生活日志的角度展開討論　165
6.12.1　個人信息保護的角度　167
6.12.2　與隱私等的關系　167
6.13　關鍵在于與用戶的溝通　171
6.14　線下行為跟蹤　172
本章小結　174

第7章　開放數據時代的到來與數據市場的興起
7.1　運用公開數據也是一種選擇　178
7.2　興盛的LOD運動　179
7.3　對政府公開的影響　182
7.4　層出不窮的創(chuàng)業(yè)型公司　185
7.5　通過舉辦競賽來促進數據運用　187
7.6　輸在起跑線上的日本　189
7.7　以震災為契機逐步發(fā)展的日本開放數據工作　191
7.8　數據市場的興起　194
7.8.1　Factual　195
7.8.2　Windows Azure Marketplace　196
7.8.3　Infochimps　197
7.8.4　Public Data Sets on AWS　199
7.9　不同的商業(yè)模式　201
7.10　數據市場興盛背后的課題　202
本章小結　203

第8章　為大數據時代做好準備
8.1　大數據時代的企業(yè)IT戰(zhàn)略　206
8.2　共享數據的日本企業(yè)　209
8.2.1　羅森和雅虎　210
8.2.2　KDDI和樂天　210
8.2.3　COOKPAD和ID’s　210
8.3　擁有原創(chuàng)數據的優(yōu)勢　211
8.4　供應商企業(yè)的新商機：數據聚合商　212
8.5　誰能成為數據聚合商　214
8.6　在美國備受矚目的支付服務商向數據聚合商的演化　216
8.6.1　VISA　216
8.6.2　PayPal　218
8.6.3　美國運通　218
8.7　數據整合之妙：將原創(chuàng)數據變?yōu)樵鲋禂祿?19
8.8　日益搶手的數據科學家　220
8.9　數據科學家所需的技能　223
8.10　數據科學家所需的素質　227
8.11　嚴重的人才匱乏　228
8.12　研究生院的成立　232
8.13　大數據分析企業(yè)吸引了大量的資金　235
8.14　日本也開始了對數據科學家的爭奪　236
8.15　最后的問題：組織結構和企業(yè)文化　238
8.16　目標：成為數據驅動型企業(yè)　240
本章小結　242

致謝　243
參考文獻　244
版權聲明　248