大數(shù)據(jù)導論

項目1大數(shù)據(jù)與大數(shù)據(jù)時代1
任務1.1進入大數(shù)據(jù)時代1
【導讀案例】 準確預測地震1
【任務描述】2
【知識準備】 進入大數(shù)據(jù)時代3
1.1.1天文學——信息爆炸的起源3
1.1.2大數(shù)據(jù)的發(fā)展7
1.1.3重新認識數(shù)據(jù)9
1.1.4數(shù)據(jù)集與數(shù)據(jù)分析10
【作業(yè)】14
【實訓操作】15
任務1.2熟悉大數(shù)據(jù)的定義19
【導讀案例】 得數(shù)據(jù)者得天下19
【任務描述】21
【知識準備】 定義大數(shù)據(jù)21
1.2.1大數(shù)據(jù)的定義21
1.2.2大數(shù)據(jù)的3V和5V特征22
1.2.3廣義的大數(shù)據(jù)24
1.2.4大數(shù)據(jù)的結(jié)構(gòu)類型25
【作業(yè)】26
【實訓操作】27
項目2大數(shù)據(jù)時代思維變革31
任務2.1理解思維轉(zhuǎn)變之一：樣本=總體31
【導讀案例】 亞馬遜推薦系統(tǒng)31
【任務描述】33
【知識準備】 分析更多數(shù)據(jù)而不再是只依賴于隨機采樣33
2.1.1小數(shù)據(jù)時代的隨機采樣34
2.1.2大數(shù)據(jù)與喬布斯的癌癥治療37
2.1.3全數(shù)據(jù)模式：樣本=總體38
【作業(yè)】39
【實訓操作】40
任務2.2理解思維轉(zhuǎn)變之二：接受數(shù)據(jù)的混雜性42
【導讀案例】 數(shù)據(jù)驅(qū)動≠大數(shù)據(jù)42
【任務描述】44
【知識準備】 不再熱衷于追求精確度44
2.2.1允許不精確45
2.2.2大數(shù)據(jù)的簡單算法與小數(shù)據(jù)的復雜算法47
2.2.3紛繁的數(shù)據(jù)越多越好48
2.2.4混雜性是標準途徑49
2.2.5新的數(shù)據(jù)庫設計50
2.2.6 5%的數(shù)字數(shù)據(jù)與95%的非結(jié)構(gòu)化數(shù)據(jù)51
【作業(yè)】52
【實訓操作】54
任務2.3理解思維轉(zhuǎn)變之三：數(shù)據(jù)的相關關系55
【導讀案例】 美國百億美元望遠鏡主鏡安裝完畢55
【任務描述】58
【知識準備】 不再熱衷于尋找因果關系58
2.3.1關聯(lián)物，預測的關鍵58
2.3.2“是什么”，而不是“為什么”61
2.3.3通過因果關系了解世界62
2.3.4通過相關關系了解世界63
【作業(yè)】64
【實訓操作】65
項目3大數(shù)據(jù)促進行業(yè)發(fā)展67
任務3.1理解大數(shù)據(jù)促進醫(yī)療與健康67
【導讀案例】 大數(shù)據(jù)變革公共衛(wèi)生67
【任務描述】69
【知識準備】 大數(shù)據(jù)促進醫(yī)療與健康69
3.1.1大數(shù)據(jù)促進循證醫(yī)學發(fā)展69
3.1.2大數(shù)據(jù)帶來醫(yī)療保健新突破71
3.1.3醫(yī)療信息數(shù)字化76
3.1.4超級大數(shù)據(jù)的佳伙伴——搜索78
3.1.5數(shù)據(jù)決策的成功崛起79
【作業(yè)】82
【實訓操作】83
任務3.2理解大數(shù)據(jù)激發(fā)創(chuàng)造力84
【導讀案例】 臉書的設計決策84
【任務描述】86
【知識準備】 大數(shù)據(jù)激發(fā)創(chuàng)造力87
3.2.1大數(shù)據(jù)幫助改善設計87
3.2.2大數(shù)據(jù)操作回路90
3.2.3大數(shù)據(jù)資產(chǎn)的崛起92
【作業(yè)】93
【實訓操作】95
項目4大數(shù)據(jù)方法的驅(qū)動力96
任務4.1理解采用大數(shù)據(jù)的商業(yè)動機96
【導讀案例】 大數(shù)據(jù)企業(yè)的縮影——谷歌（Google）96
【任務描述】97
【知識準備】 將數(shù)據(jù)變成競爭優(yōu)勢98
4.1.1大數(shù)據(jù)的跨界年度98
4.1.2谷歌的大數(shù)據(jù)行動99
4.1.3亞馬遜的大數(shù)據(jù)行動100
4.1.4將信息變成一種競爭優(yōu)勢102
4.1.5市場動態(tài)105
4.1.6業(yè)務架構(gòu)106
4.1.7業(yè)務流程管理108
【作業(yè)】109
【實訓操作】110
任務4.2理解大數(shù)據(jù)規(guī)劃考慮111
【導讀案例】 Google搜索算法告訴你，如何將一個人變成傻瓜111
【任務描述】112
【知識準備】 大數(shù)據(jù)的規(guī)劃考慮112
4.2.1信息與通信技術113
4.2.2萬物互聯(lián)網(wǎng)114
4.2.3數(shù)據(jù)獲取與數(shù)據(jù)來源114
4.2.4不同的性能挑戰(zhàn)116
4.2.5不同的管理需求116
【作業(yè)】117
【實訓操作】118
任務4.3熟悉大數(shù)據(jù)商務智能120
【導讀案例】 微信支付新廣告，講了一個支付之外的故事120
【任務描述】123
【知識準備】 熟悉大數(shù)據(jù)商務智能123
4.3.1 OLTP與OLAP123
4.3.2抽取、轉(zhuǎn)換和加載技術124
4.3.3數(shù)據(jù)倉庫與數(shù)據(jù)集市124
4.3.4傳統(tǒng)商務智能125
4.3.5大數(shù)據(jù)商務智能125
4.3.6大數(shù)據(jù)營銷126
【作業(yè)】132
【實訓操作】133
項目5大數(shù)據(jù)存儲技術136
任務5.1熟悉大數(shù)據(jù)存儲概念136
【導讀案例】 2018未來交通峰會召開，高德地圖升級易行平臺136
【任務描述】139
【知識準備】 大數(shù)據(jù)存儲的主要概念139
5.1.1數(shù)據(jù)清理139
5.1.2集群139
5.1.3文件系統(tǒng)和分布式文件系統(tǒng)140
5.1.4分片與復制143
5.1.5 CAP定理149
5.1.6 ACID設計原則150
5.1.7 BASE設計原理153
【作業(yè)】155
【實訓操作】157
任務5.2了解大數(shù)據(jù)存儲技術159
【導讀案例】 基礎領域突破非一日之功，是數(shù)十年耕耘159
【任務描述】162
【知識準備】 大數(shù)據(jù)存儲的核心技術162
5.2.1 RDBMS數(shù)據(jù)庫163
5.2.2 NoSQL數(shù)據(jù)