大數(shù)據(jù)導論

項目1 大數(shù)據(jù)與大數(shù)據(jù)時代
任務1．1 進入大數(shù)據(jù)時代
【導讀案例】 準確預測地震
【任務描述】
【知識準備】 進入大數(shù)據(jù)時代
1．1．1 天文學――信息爆炸的起源
1．1．2 大數(shù)據(jù)的發(fā)展
1．1．3 重新認識數(shù)據(jù)
1．1．4 數(shù)據(jù)集與數(shù)據(jù)分析
【作 業(yè)】
【實訓操作】 ETI公司的背景信息
任務1．2 熟悉大數(shù)據(jù)的定義
【導讀案例】 得數(shù)據(jù)者得天下
【任務描述】
【知識準備】 定義大數(shù)據(jù)
1．2．1 大數(shù)據(jù)的定義
1．2．2 大數(shù)據(jù)的3V和5V特征
1．2．3 廣義的大數(shù)據(jù)
1．2．4 大數(shù)據(jù)的結(jié)構(gòu)類型
【作 業(yè)】
【實訓操作】 為ETI公司確定數(shù)據(jù)特征與類型
項目2 大數(shù)據(jù)時代思維變革
任務2．1 理解思維轉(zhuǎn)變之一：樣本=總體
【導讀案例】 亞馬遜推薦系統(tǒng)
【任務描述】
【知識準備】 分析更多數(shù)據(jù)而不再是只依賴于隨機采樣
2．1．1 小數(shù)據(jù)時代的隨機采樣
2．1．2 大數(shù)據(jù)與喬布斯的癌癥治療
2．1．3 全數(shù)據(jù)模式：樣本=總體
【作 業(yè)】
【實訓操作】 搜索與分析，體驗“樣本=總體”
任務2．2 理解思維轉(zhuǎn)變之二：接受數(shù)據(jù)的混雜性
【導讀案例】 數(shù)據(jù)驅(qū)動≠大數(shù)據(jù)
【任務描述】
【知識準備】 不再熱衷于追求精確度
2．2．1 允許不精確
2．2．2 大數(shù)據(jù)的簡單算法與小數(shù)據(jù)的復雜算法
2．2．3 紛繁的數(shù)據(jù)越多越好
2．2．4 混雜性是標準途徑
2．2．5 新的數(shù)據(jù)庫設計
2．2．6 5%的數(shù)字數(shù)據(jù)與95%的非結(jié)構(gòu)化數(shù)據(jù)
【作 業(yè)】
【實訓操作】 搜索與分析，體驗“接受數(shù)據(jù)的混雜性”
任務2．3 理解思維轉(zhuǎn)變之三：數(shù)據(jù)的相關(guān)關(guān)系
【導讀案例】 美國百億美元望遠鏡主鏡安裝完畢
【任務描述】
【知識準備】 不再熱衷于尋找因果關(guān)系
2．3．1 關(guān)聯(lián)物，預測的關(guān)鍵
2．3．2 “是什么”，而不是“為什么”
2．3．3 通過因果關(guān)系了解世界
2．3．4 通過相關(guān)關(guān)系了解世界
【作 業(yè)】
【實訓操作】 搜索與分析，體驗“數(shù)據(jù)的相關(guān)關(guān)系”
項目3 大數(shù)據(jù)促進行業(yè)發(fā)展
任務3．1 理解大數(shù)據(jù)促進醫(yī)療與健康
【導讀案例】 大數(shù)據(jù)變革公共衛(wèi)生
【任務描述】
【知識準備】 大數(shù)據(jù)促進醫(yī)療與健康
3．1．1 大數(shù)據(jù)促進循證醫(yī)學發(fā)展
3．1．2 大數(shù)據(jù)帶來醫(yī)療保健新突破
3．1．3 醫(yī)療信息數(shù)字化
3．1．4 超級大數(shù)據(jù)的最佳伙伴――搜索
3．1．5 數(shù)據(jù)決策的成功崛起
【作 業(yè)】
【實訓操作】 熟悉大數(shù)據(jù)在醫(yī)療健康領域的應用
任務3．2 理解大數(shù)據(jù)激發(fā)創(chuàng)造力
【導讀案例】 臉書的設計決策
【任務描述】
【知識準備】 大數(shù)據(jù)激發(fā)創(chuàng)造力
3．2．1 大數(shù)據(jù)幫助改善設計
3．2．2 大數(shù)據(jù)操作回路
3．2．3 大數(shù)據(jù)資產(chǎn)的崛起
【作 業(yè)】
【實訓操作】 熟悉大數(shù)據(jù)如何激發(fā)創(chuàng)造力
項目4 大數(shù)據(jù)方法的驅(qū)動力
任務4．1 理解采用大數(shù)據(jù)的商業(yè)動機
【導讀案例】 大數(shù)據(jù)企業(yè)的縮影――谷歌（Google）
【任務描述】
【知識準備】 將數(shù)據(jù)變成競爭優(yōu)勢
4．1．1 大數(shù)據(jù)的跨界年度
4．1．2 谷歌的大數(shù)據(jù)行動
4．1．3 亞馬遜的大數(shù)據(jù)行動
4．1．4 將信息變成一種競爭優(yōu)勢
4．1．5 市場動態(tài)
4．1．6 業(yè)務架構(gòu)
4．1．7 業(yè)務流程管理
【作 業(yè)】
【實訓操作】 理解采用大數(shù)據(jù)的商業(yè)動機
任務4．2 理解大數(shù)據(jù)規(guī)劃考慮
【導讀案例】 Google搜索算法告訴你，如何將一個人變成“傻瓜”
【任務描述】
【知識準備】 大數(shù)據(jù)的規(guī)劃考慮
4．2．1 信息與通信技術(shù)
4．2．2 萬物互聯(lián)網(wǎng)
4．2．3 數(shù)據(jù)獲取與數(shù)據(jù)來源
4．2．4 不同的性能挑戰(zhàn)
4．2．5 不同的管理需求
【作 業(yè)】
【實訓操作】 ETI公司掌握大數(shù)據(jù)規(guī)劃方法
任務4．3 熟悉大數(shù)據(jù)商務智能
【導讀案例】 微信支付新廣告，講了一個支付之外的故事
【任務描述】
【知識準備】 大數(shù)據(jù)的商務智能
4．3．1 OLTP與OLAP
4．3．2 抽取、轉(zhuǎn)換和加載技術(shù)
4．3．3 數(shù)據(jù)倉庫與數(shù)據(jù)集市
4．3．4 傳統(tǒng)商務智能
4．3．5 大數(shù)據(jù)商務智能
4．3．6 大數(shù)據(jù)營銷
【作 業(yè)】
【實訓操作】 學習“五力模型”，熟悉大數(shù)據(jù)商務智能
項目5 大數(shù)據(jù)存儲技術(shù)
任務5．1 熟悉大數(shù)據(jù)存儲概念
【導讀案例】 2018未來交通峰會召開，高德地圖升級易行平臺
【任務描述】
【知識準備】 大數(shù)據(jù)存儲概念
5．1．1 數(shù)據(jù)清理
5．1．2 集群
5．1．3 文件系統(tǒng)和分布式文件系統(tǒng)
5．1．4 分片與復制
5．1．5 CAP定理
5．1．6 ACID設計原則
5．1．7 BASE設計原理
【作 業(yè)】
【實訓操作】 熟悉大數(shù)據(jù)存儲的概念
任務5．2 了解大數(shù)據(jù)存儲技術(shù)
【導讀案例】 基礎領域突破非一日之功，是數(shù)十年的耕耘
【任務描述】
【知識準備】 大數(shù)據(jù)存儲技術(shù)
5．2．1 RDBMS數(shù)據(jù)庫
5．2．2 NoSQL數(shù)據(jù)庫
5．2．3 NewSQL數(shù)據(jù)庫
5．2．4 內(nèi)存存儲設備
5．2．5 內(nèi)存數(shù)據(jù)網(wǎng)格
5．2．6 內(nèi)存數(shù)據(jù)庫
【作 業(yè)】
【實訓操作】 熟悉大數(shù)據(jù)存儲技術(shù)
項目6 大數(shù)據(jù)處理技術(shù)
任務6．1 熟悉大數(shù)據(jù)處理技術(shù)
【導讀案例】 Cloudera領銜大數(shù)據(jù)基礎設施
【任務描述】
【知識準備】 大數(shù)據(jù)技術(shù)架構(gòu)及處理技術(shù)
6．1．1 開源技術(shù)的商業(yè)支援
6．1．2 大數(shù)據(jù)的技術(shù)架構(gòu)
6．1．3 Hadoop數(shù)據(jù)處理基礎
6．1．4 處理工作量
6．1．5 批處理模式
6．1．6 SCV原則
6．1．7 實時處理模式
【作 業(yè)】
【實訓操作】 理解和熟悉大數(shù)據(jù)處理技術(shù)
項目7 大數(shù)據(jù)分析技術(shù)
任務7．1 了解大數(shù)據(jù)預測分析
【導讀案例】 葡萄酒的品質(zhì)
【任務描述】
【知識準備】 大數(shù)據(jù)預測分析的內(nèi)容與技術(shù)
7．1．1 什么是預測分析
7．1．2 數(shù)據(jù)具有內(nèi)在預測性
7．1．3 定量分析與定性分析
7．1．4 數(shù)據(jù)挖掘
7．1．5 統(tǒng)計分析
【作 業(yè)】
【實訓操作】 大數(shù)據(jù)準備度自我評分表
任務7．2 數(shù)據(jù)的內(nèi)在預測性
【導讀案例】 Google AI：機器學習預測場景深度圖，模擬人眼更進一步
【任務描述】
【知識準備】 數(shù)據(jù)的內(nèi)在預測能力
7．2．1 機器學習
7．2．2 語義分析
7．2．3 視覺分析
7．2．4 情感分析
7．2．5 人工神經(jīng)網(wǎng)絡
【作 業(yè)】
【實訓操作】 熟悉ETI企業(yè)IT團隊采用的大數(shù)據(jù)分析技術(shù)
任務7．3 熟悉大數(shù)據(jù)分析的生命周期
【導讀案例】 百度大數(shù)據(jù)為新冠病毒社會影響“畫像”：解讀疫情發(fā)展，量化經(jīng)濟擊，助力政府決策
導讀案例
【任務描述】
【知識準備】 大數(shù)據(jù)分析的生命周期
7．3．1 商業(yè)案例評估
7．3．2 數(shù)據(jù)標識
7．3．3 數(shù)據(jù)獲取與過濾
7．3．4 數(shù)據(jù)提取
7．3．5 數(shù)據(jù)驗證與清理
7．3．6 數(shù)據(jù)聚合與表示
7．3．7 數(shù)據(jù)分析
7．3．8 數(shù)據(jù)可視化
7．3．9 分析結(jié)果的使用
【作 業(yè)】
【實訓操作】 ETI企業(yè)所經(jīng)歷的大數(shù)據(jù)分析生命周期
項目8 大數(shù)據(jù)在云端
任務8．1 熟悉云時代背景下的大數(shù)據(jù)
【導讀案例】 亞馬遜，數(shù)據(jù)在云端
【任務描述】
【知識準備】 云端大數(shù)據(jù)的基礎設施
8．1．1 云端大數(shù)據(jù)
8．1．2 計算虛擬化
8．1．3 存儲虛擬化
8．1．4 網(wǎng)絡虛擬化
8．1．5 數(shù)據(jù)即服務
8．1．6 云的挑戰(zhàn)
【作 業(yè)】
【實訓操作】 熟悉云端大數(shù)據(jù)的基礎設施
任務8．2 把握大數(shù)據(jù)發(fā)展的未來
【導讀案例】 智能大數(shù)據(jù)分析成熱點
【任務描述】
【知識準備】 數(shù)據(jù)科學和大數(shù)據(jù)人才
8．2．1 數(shù)據(jù)科學
8．2．2 數(shù)據(jù)科學家與數(shù)據(jù)工作者
8．2．3 隱私權(quán)與安全性
8．2．4 連接開放數(shù)據(jù)
8．2．5 數(shù)據(jù)市場的興起
8．2．6 將原創(chuàng)數(shù)據(jù)變?yōu)樵鲋禂?shù)據(jù)
8．2．7 大數(shù)據(jù)未來展望
【作 業(yè)】
【實訓操作】 ETI企業(yè)的大數(shù)據(jù)之旅
【課程學習與實訓總結(jié)】
附錄A 課程作業(yè)參考答案
附錄B 課程學習能力測評
參考文獻