大數(shù)據(jù)及其可視化

第1 章 大數(shù)據(jù)與大數(shù)據(jù)時代............1
1.1 大數(shù)據(jù)概述............................. 3
1.1.1 數(shù)據(jù)與信息.................. 3
1.1.2 天文學——信息爆炸
的起源.......................... 3
1.1.3 大數(shù)據(jù)的定義............... 4
1.1.4 用3V 描述大數(shù)據(jù)
特征............................. 5
1.1.5 大數(shù)據(jù)的結構類型....... 7
1.2 思維變革之一：樣本=總體..... 8
1.2.1 小數(shù)據(jù)時代的隨機
采樣............................. 8
1.2.2 大數(shù)據(jù)與喬布斯的
癌癥治療.................... 11
1.2.3 全數(shù)據(jù)模式：樣本=
總體........................... 12
1.3 思維變革之二：接受數(shù)據(jù)
的混雜性.............................. 12
1.3.1 允許不精確................ 12
1.3.2 大數(shù)據(jù)的簡單算法與
小數(shù)據(jù)的復雜算法..... 13
1.3.3 紛繁的數(shù)據(jù)越多
越好........................... 14
1.3.4 5%的數(shù)字數(shù)據(jù)與95%
的非結構化數(shù)據(jù)......... 15
1.4 思維變革之三：數(shù)據(jù)的
相關關系.............................. 16
1.4.1 關聯(lián)物，預測的
關鍵........................... 16
1.4.2 “是什么”，而不是
“為什么”.................. 17
1.4.3 通過相關關系了解
世界........................... 18
【實驗與思考】深入理解大數(shù)據(jù)
時代...................................... 19
第2 章 數(shù)據(jù)可視化之美.................21
2.1 數(shù)據(jù)與可視化....................... 22
2.1.1 數(shù)據(jù)的可變性............. 23
2.1.2 數(shù)據(jù)的不確定性......... 24
2.1.3 數(shù)據(jù)的背景信息......... 25
2.1.4 打造最好的可視化
效果........................... 26
2.2 數(shù)據(jù)與圖形........................... 26
2.2.1 地圖傳遞信息............. 26
2.2.2 數(shù)據(jù)與走勢................. 27
2.2.3 視覺信息的科學
解釋........................... 28
2.2.4 圖片和分享的力量...... 29
2.2.5 公共數(shù)據(jù)集................. 29
2.3 實時可視化........................... 31
2.4 可視化分析工具.................... 31
2.4.1 Microsoft Excel ........... 32
2.4.2 Google Spreadsheets...... 32
2.4.3 Tableau ....................... 33
2.4.4 可視化編程工具......... 33
【實驗與思考】熟悉大數(shù)據(jù)
可視化.................................. 35
第3 章 Excel 數(shù)據(jù)可視化方法........37
3.1 Excel 的函數(shù)與圖表.............. 39
3.1.1 Excel 函數(shù).................. 40
3.1.2 Excel 圖表.................. 41
大數(shù)據(jù)及其可視化
2
3.1.3 選擇圖表類型............. 43
3.2 整理數(shù)據(jù)源........................... 44
3.2.1 數(shù)據(jù)提煉.................... 44
3.2.2 抽樣產生隨機數(shù)據(jù)..... 47
3.3 數(shù)理統(tǒng)計中的常見統(tǒng)計量..... 49
3.3.1 比平均值更穩(wěn)定的
中位數(shù)和眾數(shù)............. 49
3.3.2 正態(tài)分布和偏態(tài)
分布........................... 50
3.3.3 財務預算中的分析
工具........................... 52
3.4 改變數(shù)據(jù)形式引起的
圖表變化.............................. 53
3.4.1 用負數(shù)突出數(shù)據(jù)的
增長情況.................... 53
3.4.2 重排關鍵字順序
使圖表更合適............. 54
【實驗與思考】體驗Excel 數(shù)據(jù)
可視化方法........................... 55
第4 章 Excel 數(shù)據(jù)可視化應用........57
4.1 直方圖：對比關系................ 60
4.1.1 以零基線為起點......... 60
4.1.2 垂直直條的寬度要
大于條間距................ 62
4.1.3 慎用三維效果的
柱形圖........................ 63
4.1.4 用堆積圖表示
百分數(shù)........................ 64
4.2 折線圖：按時間或類別
顯示趨勢.............................. 65
4.2.1 減小Y 軸刻度單位
增強數(shù)據(jù)波動情況..... 65
4.2.2 突出顯示折線圖中
的數(shù)據(jù)點.................... 66
4.2.3 通過面積圖顯示
數(shù)據(jù)總額.................... 67
4.3 圓餅圖：部分占總體的比例.... 68
4.3.1 重視圓餅圖扇區(qū)的
位置排序.................... 68
4.3.2 分離圓餅圖扇區(qū)
強調特殊數(shù)據(jù)............. 69
4.3.3 用半個圓餅圖刻畫
半期內的數(shù)據(jù)............. 70
4.3.4 讓多個圓餅圖對象
重疊展示對比關系..... 71
4.4 散點圖：表示分布狀態(tài)......... 72
4.4.1 用平滑線聯(lián)系散點圖
增強圖形效果............. 72
4.4.2 將直角坐標改為象限
坐標凸顯分布效果..... 73
4.5 側重點不同的特殊圖表......... 74
4.5.1 用子彈圖顯示數(shù)據(jù)
的優(yōu)劣........................ 74
4.5.2 用溫度計展示工作
進度........................... 75
4.5.3 用漏斗圖進行業(yè)務
流程的差異分析......... 76
【實驗與思考】大數(shù)據(jù)如何激發(fā)
創(chuàng)造力.................................. 78
第5 章 大數(shù)據(jù)的商業(yè)規(guī)則..............79
5.1 大數(shù)據(jù)的跨界年度................ 80
5.2 谷歌的大數(shù)據(jù)行動................ 81
5.3 亞馬遜的大數(shù)據(jù)行動............ 83
5.4 將信息變成一種競爭優(yōu)勢..... 84
5.4.1 數(shù)據(jù)價格下降，
數(shù)據(jù)需求上升............. 85
5.4.2 大數(shù)據(jù)應用程序的
興起........................... 86
5.4.3 實時響應，大數(shù)據(jù)
用戶的新要求............. 87
5.4.4 企業(yè)構建大數(shù)據(jù)
戰(zhàn)略........................... 87
目 錄
3
5.5 大數(shù)據(jù)營銷........................... 88
5.5.1 像媒體公司一樣
思考........................... 88
5.5.2 營銷面對新的機遇
與挑戰(zhàn)........................ 89
5.5.3 自動化營銷................ 90
5.5.4 為營銷創(chuàng)建高容量
和高價值的內容......... 91
5.5.5 內容營銷.................... 91
5.5.6 內容創(chuàng)作與眾包......... 92
5.5.7 用投資回報率評價
營銷效果.................... 93
【實驗與思考】大數(shù)據(jù)營銷的
優(yōu)勢與核心內涵................... 93
第6 章 大數(shù)據(jù)激發(fā)創(chuàng)造力..............95
6.1 大數(shù)據(jù)與循證醫(yī)學................ 97
6.2 大數(shù)據(jù)帶來的醫(yī)療新突破..... 98
6.2.1 量化自我，關注個人
健康........................... 99
6.2.2 可穿戴的個人健康
設備......................... 100
6.2.3 大數(shù)據(jù)時代的醫(yī)療
信息......................... 101
6.3 醫(yī)療信息數(shù)字化................. 103
6.4 搜索：超級大數(shù)據(jù)的
最佳伙伴............................ 105
6.5 數(shù)據(jù)決策的成功崛起.......... 106
6.5.1 數(shù)據(jù)輔助診斷........... 107
6.5.2 你考慮過……了嗎...... 107
6.5.3 大數(shù)據(jù)分析使數(shù)據(jù)
決策崛起.................. 108
6.6 大數(shù)據(jù)幫助改善設計.......... 109
6.6.1 少而精是設計的
核心..........................110
6.6.2 與玩家共同設計
游戲..........................111
6.6.3 以人為本的汽車
設計理念...................111
6.6.4 尋找最佳音響效果...... 112
6.6.5 建筑數(shù)據(jù)取代直覺...... 113
【實驗與思考】大數(shù)據(jù)如何激發(fā)
創(chuàng)造力................................ 114
第7 章 大數(shù)據(jù)預測分析...............116
7.1 預測分析............................ 119
7.2 數(shù)據(jù)情感和情感數(shù)據(jù).......... 122
7.2.1 從博客觀察集體
情感......................... 122
7.2.2 預測分析博客中的
情緒......................... 122
7.2.3 影響情緒的重要
因素——金錢........... 124
7.3 數(shù)據(jù)具有內在預測性.......... 125
7.4 情感的因果關系.................. 126
7.4.1 焦慮指數(shù)與標普
500 指數(shù)................... 126
7.4.2 驗證情感和被驗證
的情感...................... 128
7.4.3 情緒指標影響
金融市場.................. 129
【實驗與思考】大數(shù)據(jù)準備度
自我評分表......................... 130
第8 章 支撐大數(shù)據(jù)的技術............134
8.1 大數(shù)據(jù)在云端..................... 135
8.1.1 云計算概述............... 136
8.1.2 云計算的服務形式...... 137
8.1.3 云計算與大數(shù)據(jù)....... 137
8.1.4 云基礎設施............... 139
8.2 計算虛擬化......................... 140
8.3 網(wǎng)絡虛擬化......................... 140
8.4 大數(shù)據(jù)存儲......................... 141
大數(shù)據(jù)及其可視化
4
8.4.1 傳統(tǒng)存儲系統(tǒng)........... 141
8.4.2 大數(shù)據(jù)時代的
新挑戰(zhàn)...................... 142
8.4.3 分布式存儲.............. 143
8.4.4 云存儲...................... 144
8.5 開源技術的商業(yè)支援.......... 145
8.6 大數(shù)據(jù)的技術架構.............. 146
8.7 Hadoop 基礎....................... 147
8.7.1 分布式系統(tǒng)概述....... 147
8.7.2 Hadoop 的由來......... 148
8.7.3 Hadoop 的優(yōu)勢......... 149
8.7.4 Hadoop 的發(fā)行
版本......................... 150
8.8 大數(shù)據(jù)數(shù)據(jù)處理基礎.......... 150
8.8.1 Hadoop 與NoSQL...... 151
8.8.2 NoSQL 與RDBMS
的主要區(qū)別.............. 151
8.8.3 NewSQL ................... 153
【實驗與思考】了解大數(shù)據(jù)的
基礎設施............................ 154
第9 章 數(shù)據(jù)引導可視化...............156