走進(jìn)大數(shù)據(jù)：組織如何推進(jìn)大數(shù)據(jù)戰(zhàn)略

1．　IT趨勢與數(shù)字商務(wù)
1．1　開啟大數(shù)據(jù)時(shí)代的IT趨勢變化與未來核心技術(shù)的出現(xiàn)…2
1．1．1　始于IBM大型計(jì)算機(jī)的中央集中式商務(wù)處理方式…3
1．1．2　在“減員增效”浪潮中成為業(yè)界翹楚的甲骨文、思科和惠普…3
1．1．3　微軟開啟個(gè)人PC時(shí)代…4
1．1．4　大數(shù)據(jù)技術(shù)的起點(diǎn)：Hadoop的誕生…5
1．1．5　量產(chǎn)大數(shù)據(jù)的智能手機(jī)觸發(fā)移動(dòng)時(shí)代…5
1．1．6　將企業(yè)IT資源最大化的云計(jì)算熱潮…6
1．1．7　產(chǎn)生更多大數(shù)據(jù)的傳感器時(shí)代即將到來…7
1．1．8　未來核心技術(shù)：社交網(wǎng)絡(luò)、移動(dòng)技術(shù)、大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)…7
1．2　始于大數(shù)據(jù)技術(shù)的創(chuàng)新——數(shù)字商務(wù)…9
1．2．1　同時(shí)提供優(yōu)質(zhì)產(chǎn)品體驗(yàn)與最低價(jià)格才能引發(fā)購買行為…11
1．2．2　Beacon：融合物聯(lián)網(wǎng)、大數(shù)據(jù)分析、移動(dòng)通信等技術(shù)…12
1．3　陷入危機(jī)還是成功創(chuàng)新：跨國IT企業(yè)與IT趨勢…15
1．3．1　云計(jì)算領(lǐng)域…15
1．3．2　移動(dòng)領(lǐng)域…16
1．3．3　大數(shù)據(jù)領(lǐng)域…17
1．3．4　物聯(lián)網(wǎng)領(lǐng)域…17
1．3．5　ERP及內(nèi)存數(shù)據(jù)庫領(lǐng)域…18
1．3．6　IT領(lǐng)域的新霸主：谷歌、亞馬遜、賽富時(shí)…19
1．3．7　跨國IT企業(yè)因何變?nèi)酢?0
大數(shù)據(jù)小問答…24
2．從實(shí)例分析入手的有趣的大數(shù)據(jù)分析
2．1　大數(shù)據(jù)…28
2．1．1　大數(shù)據(jù)的定義：4V…28
2．1．2　大數(shù)據(jù)之“大”…29
2．1．3　大數(shù)據(jù)技術(shù)與新商業(yè)模式的出現(xiàn)…30
2．1．4　小數(shù)據(jù)、暗數(shù)據(jù)、快數(shù)據(jù)、智能數(shù)據(jù)…32
2．2　創(chuàng)新源自大數(shù)據(jù)分析…34
2．3　大數(shù)據(jù)預(yù)測未來：從免費(fèi)分析工具開始…38
2．3．1　大數(shù)據(jù)的滯后性：準(zhǔn)確分析得出結(jié)論…38
2．3．2　關(guān)鍵詞的超前性：完善預(yù)測模型以提高準(zhǔn)確度…39
2．3．3　門戶網(wǎng)站搜索頻率分析工具：Naver Trend與谷歌趨勢…41
2．3．4　免費(fèi)社交媒體分析工具：Social Metrics…44
2．4　正式開始分析大數(shù)據(jù)前：基于場景的關(guān)鍵詞分析練習(xí)…46
2．4．1　智能手機(jī)競爭分析…47
2．4．2　戶外運(yùn)動(dòng)：高爾夫、登山與露營的比較…57
2．4．3　Naver Trend與Social Metrics的應(yīng)用 …59
大數(shù)據(jù)小問答…62
3．　分析廣泛應(yīng)用的社交媒體
3．1　靈活運(yùn)用強(qiáng)大的社交媒體…66
3．1．1　社交媒體分析定義…67
3．1．2　社交媒體分析是大數(shù)據(jù)分析嗎？…67
3．1．3　以人們熟知的關(guān)鍵詞為中心進(jìn)行分析…68
3．1．4　進(jìn)行自然語言處理時(shí)要注意同音近義詞…70
3．1．5　選擇人們平時(shí)關(guān)注的領(lǐng)域…70
3．1．6　選舉中體現(xiàn)的社交媒體的力量…74
3．1．7　社交媒體在政府決策過程中大有用武之地…75
3．1．8　區(qū)分社交媒體中的謠言與真相…78
3．2　社交媒體分析的3個(gè)步驟…81
3．2．1　用戶需求…81
3．2．2　步驟1：Web信息采集…83
3．2．3　步驟2-1：自然語言處理服務(wù)…84
3．2．4　步驟2-2：文本分析…85
3．2．5　步驟2-3：可視化…85
3．2．6　步驟3：最終用戶…87
3．3　社交媒體分析的應(yīng)用領(lǐng)域…87
3．3．1　新品研發(fā)及上市效果分析…87
3．3．2　廣告效果分析…88
3．3．3　企業(yè)信譽(yù)風(fēng)險(xiǎn)/危機(jī)管理…88
3．3．4　顧客的VOC…89
3．3．5　社會(huì)研究…89
3．3．6　數(shù)據(jù)新聞…90
大數(shù)據(jù)小問答…92
4．　引入大數(shù)據(jù)項(xiàng)目時(shí)的常見問題
4．1　對大數(shù)據(jù)概念的理解不夠…96
4．2　與準(zhǔn)備引入大數(shù)據(jù)項(xiàng)目的企業(yè)分享我的個(gè)人經(jīng)驗(yàn)…96
4．3　大數(shù)據(jù)項(xiàng)目中企業(yè)管理層存在的問題…98
4．3．1　引入大數(shù)據(jù)項(xiàng)目時(shí)企業(yè)管理層會(huì)忽視自身影響力…98
4．3．2　企業(yè)管理層將大數(shù)據(jù)項(xiàng)目想得過于簡單…99
4．3．3　企業(yè)管理者依靠“直覺”經(jīng)營的同時(shí)決定引入大數(shù)據(jù)戰(zhàn)略…100
4．3．4　不能由IT部門領(lǐng)導(dǎo)大數(shù)據(jù)TF…101
4．3．5　引入大數(shù)據(jù)項(xiàng)目需要巨額投資嗎？…103
4．4　大數(shù)據(jù)項(xiàng)目中業(yè)務(wù)負(fù)責(zé)人存在的問題…104
4．4．1　業(yè)務(wù)負(fù)責(zé)人必須培養(yǎng)自身數(shù)據(jù)分析能力…104
4．4．2　業(yè)務(wù)負(fù)責(zé)人將數(shù)據(jù)分析工作外包而只接收分析結(jié)果…104
4．4．3　業(yè)務(wù)負(fù)責(zé)人認(rèn)為大數(shù)據(jù)分析與傳統(tǒng)數(shù)據(jù)分析差別很大…105
4．5　大數(shù)據(jù)項(xiàng)目中IT負(fù)責(zé)人存在的問題…106
4．5．1　IT負(fù)責(zé)人不愿意學(xué)習(xí)Hadoop…106
4．5．2　IT負(fù)責(zé)人認(rèn)為構(gòu)建大數(shù)據(jù)系統(tǒng)后只需維護(hù)…107
4．6　準(zhǔn)確理解大數(shù)據(jù)項(xiàng)目…108
4．6．1　大數(shù)據(jù)項(xiàng)目取決于參與專家的水平…108
4．6．2　大數(shù)據(jù)專家涉及多個(gè)領(lǐng)域…109
4．6．3　大數(shù)據(jù)項(xiàng)目旨在基于數(shù)據(jù)進(jìn)行決策…110
4．6．4　是否引入大數(shù)據(jù)系統(tǒng)要由實(shí)際業(yè)務(wù)負(fù)責(zé)人判斷…111
大數(shù)據(jù)小問答…114
5．　大數(shù)據(jù)方案選擇方法
5．1　以何種主題實(shí)現(xiàn)大數(shù)據(jù)項(xiàng)目：制定大數(shù)據(jù)項(xiàng)目主題…118
5．1．1　確定大數(shù)據(jù)項(xiàng)目主題時(shí)要靈活運(yùn)用大數(shù)據(jù)咨詢公司…119
5．1．2　大數(shù)據(jù)項(xiàng)目主題確定方法與流程…120
5．2　步驟1：各行業(yè)大數(shù)據(jù)系統(tǒng)應(yīng)用案例分析…123
5．3　步驟2：基本業(yè)務(wù)分析…128
5．4　步驟3：訪談…131
5．4．1　步驟3-1：管理層訪談…131
5．4．2　步驟3-2：業(yè)務(wù)訪談…132
5．4．3　步驟3-3：IT團(tuán)隊(duì)訪談…134
5．5　步驟4：內(nèi)部/外部數(shù)據(jù)采集與數(shù)據(jù)挖掘…135
5．5．1　步驟4-1：內(nèi)部/外部數(shù)據(jù)采集…135
5．5．2　步驟4-2：初期數(shù)據(jù)挖掘…136
5．6　步驟5：培訓(xùn)與研討…137
5．6．1　步驟5-1：管理者、業(yè)務(wù)團(tuán)隊(duì)、IT團(tuán)隊(duì)的培訓(xùn)…137
5．6．2　步驟5-2：業(yè)務(wù)研討會(huì)…140
5．7　步驟6：大數(shù)據(jù)項(xiàng)目備選主題的選擇及評估…143
5．7．1　步驟6-1：選擇大數(shù)據(jù)項(xiàng)目備選主題…143
5．7．2　步驟6-2：評估…145
5．8　步驟7：Quick Win課題及主題選擇、總體規(guī)劃…148
5．8．1　步驟7-1：Quick Win課題及主題選擇…148
5．8．2　步驟7-2：大數(shù)據(jù)項(xiàng)目總體規(guī)劃…149
大數(shù)據(jù)小問答…154
6．　具有競爭力的大數(shù)據(jù)分析
6．1　保持企業(yè)競爭力的大數(shù)據(jù)分析案例…158
6．1．1　大數(shù)據(jù)分析與統(tǒng)計(jì)分析的區(qū)別…158
6．1．2　Netflix的Cinematch system與深度學(xué)習(xí)…159
6．1．3　亞馬遜的推薦系統(tǒng)…162
6．2　實(shí)現(xiàn)大數(shù)據(jù)項(xiàng)目時(shí)可以靈活應(yīng)用的分析服務(wù)…165
6．2．1　沃爾弗拉姆·阿爾法計(jì)算知識(shí)引擎…165
6．2．2　ID INCU的移動(dòng)研究…168
6．3　實(shí)現(xiàn)大數(shù)據(jù)項(xiàng)目時(shí)可供參考的數(shù)據(jù)…171
6．3．1　韓國健康保險(xiǎn)審查評價(jià)院用于研究的申請數(shù)據(jù)…171
6．3．2　基于SKT地理信息系統(tǒng)的空間大數(shù)據(jù)服務(wù)…175
6．4　實(shí)現(xiàn)大數(shù)據(jù)項(xiàng)目時(shí)可以靈活使用的分析系統(tǒng)…177
大數(shù)據(jù)小問答…180
7．　大數(shù)據(jù)技術(shù)與IT技術(shù)
7．1　大數(shù)據(jù)系統(tǒng)與傳統(tǒng)DW/BI系統(tǒng)的異同…184
7．1．1　大數(shù)據(jù)技術(shù)與傳統(tǒng)DW/BI技術(shù)的區(qū)別…184
7．1．2　大數(shù)據(jù)技術(shù)與傳統(tǒng)DW/BI技術(shù)的共同點(diǎn)…189
7．2　向傳統(tǒng)DW/BI系統(tǒng)引入大數(shù)據(jù)技術(shù)時(shí)的一些建議…189
7．2．1　傳統(tǒng)DW/BI系統(tǒng)的需求…189
7．2．2　DW/BI第一階段擴(kuò)展方案…190
7．2．3　DW/BI第二階段擴(kuò)展方案…193
7．2．4　DW/BI第三階段擴(kuò)展方案…195
7．2．5　引入大數(shù)據(jù)系統(tǒng)引起的IT組織變化…197
7．3　大數(shù)據(jù)解決方案…198
7．3．1　大數(shù)據(jù)架構(gòu)…198
7．3．2　數(shù)據(jù)處理、查詢領(lǐng)域的軟件優(yōu)缺點(diǎn)分析…201
7．3．3　大數(shù)據(jù)基礎(chǔ)設(shè)施與服務(wù)：國外解決方案…202
7．3．4　大數(shù)據(jù)基礎(chǔ)設(shè)施與服務(wù)：韓國解決方案…204
7．4　幾款值得推薦的韓國產(chǎn)品…206
7．4．1　Flamingo…206
7．4．2　Apache Tajo…210
大數(shù)據(jù)小問答…212
8．　大數(shù)據(jù)項(xiàng)目構(gòu)建方法
8．1　大數(shù)據(jù)項(xiàng)目構(gòu)建方法的重要性…216
8．1．1　利用大數(shù)據(jù)需要大數(shù)據(jù)項(xiàng)目構(gòu)建方法…216
8．1．2　大數(shù)據(jù)項(xiàng)目需要良好的溝通…217
8．1．3　必須將階段性執(zhí)行程序融入大數(shù)據(jù)項(xiàng)目構(gòu)建方法…217
8．1．4　大數(shù)據(jù)項(xiàng)目構(gòu)建方法必須與大數(shù)據(jù)方案選擇方法
相對應(yīng)…218
8．2　大數(shù)據(jù)項(xiàng)目構(gòu)建方法定義…219
8．3　大數(shù)據(jù)項(xiàng)目推進(jìn)總體規(guī)劃（模塊1）…221
8．4　商業(yè)應(yīng)用及變化管理的實(shí)現(xiàn)（模塊2）…223
8．4．1　充分理解商業(yè)主題（模塊2-1）…224
8．4．2　與分析結(jié)果相關(guān)的商業(yè)行動(dòng)計(jì)劃（模塊2-2）…225
8．4．3　企業(yè)應(yīng)用監(jiān)控與激活方案（模塊2-3）…225
8．4．4　大數(shù)據(jù)系統(tǒng)應(yīng)用評估（模塊2-4）…226
8．4．5　大數(shù)據(jù)系統(tǒng)應(yīng)用組織設(shè)計(jì)（模塊2-5）…231
8．4．6　所需人力與技能組合的定義（模塊2-6）…237
8．4．7　所需人力的調(diào)配方法（模塊2-7）…238
8．4．8　內(nèi)部人才培養(yǎng)計(jì)劃（模塊2-8）…239
8．5　各主題分析模型的設(shè)計(jì)及與分析（模塊3）…239
8．5．1　大數(shù)據(jù)挖掘方法比較…239
8．5．2　大數(shù)據(jù)間接分析法…241
8．5．3　大數(shù)據(jù)直接分析法…243
8．5．4　大數(shù)據(jù)分析工具培訓(xùn)（模塊3-0）…243
8．5．5　充分理解商業(yè)主題（模塊3-1）…244
8．5．6　定義所需數(shù)據(jù)（模塊3-2）…245
8．5．7　數(shù)據(jù)探索（模塊3-3）…245
8．5．8　派生數(shù)據(jù)設(shè)計(jì)及數(shù)據(jù)處理需求傳達(dá)（模塊3-4）…246
8．5．9　分析模型設(shè)計(jì)與測試（模塊3-5）…247
8．5．10　數(shù)據(jù)可視化（模塊3-6）…247
8．5．11　評估分析結(jié)果（模塊3-7）…248
8．5．12　分析模型維護(hù)與升級方案（模塊3-8）…250
8．6　大數(shù)據(jù)系統(tǒng)設(shè)計(jì)與構(gòu)建（模塊4）…251
8．6．1　充分理解大數(shù)據(jù)項(xiàng)目主題（模塊4-1）…251
8．6．2　數(shù)據(jù)建模（模塊4-2）…251
8．6．3　內(nèi)部/外部數(shù)據(jù)ETL設(shè)計(jì)（模塊4-3）…252
8．6．4　內(nèi)部/外部數(shù)據(jù)提煉操作設(shè)計(jì)（模塊4-4）…253
8．6．5　內(nèi)部/外部數(shù)據(jù)ETL及提煉操作執(zhí)行（模塊4-5）…254
8．6．6　執(zhí)行數(shù)據(jù)處理（模塊4-6）…254
8．6．7　用戶/訪問/安全管理執(zhí)行（模塊4-7）…255
8．7　大數(shù)據(jù)系統(tǒng)設(shè)計(jì)/構(gòu)建（模塊5）…255
8．7．1　SW架構(gòu)設(shè)計(jì)（模塊5-1）…255
8．7．2　HW/Cloud架構(gòu)設(shè)計(jì)（模塊5-2）…257
8．7．3　安裝SW/HW/Cloud（模塊5-3）…258
8．8　大數(shù)據(jù)治理設(shè)計(jì)與構(gòu)建（模塊6）…259
8．8．1　數(shù)據(jù)治理設(shè)計(jì)與構(gòu)建（模塊6-1）…259
8．8．2　外部數(shù)據(jù)管理（模塊6-2）…260
8．8．3　用戶/訪問/安全管理設(shè)計(jì)（模塊6-3）…260
大數(shù)據(jù)小問答…262
附錄　通過行業(yè)大會(huì)了解大數(shù)據(jù)技術(shù)發(fā)展趨勢
Strata　Hadoop World 2014…266
美國已經(jīng)從“為什么是大數(shù)據(jù)”（Why　Big data）階段進(jìn)入“如何做大數(shù)據(jù)”（How to do Big data）階段…267
目前形勢下，Hadoop是“明顯的勝者”（Clear　winner）…267
商業(yè)Hadoop比Apache　Hadoop更常用…268
Spark的極高關(guān)注度…268
傳統(tǒng)RDB中的信息業(yè)務(wù)正在遷移到Hadoop…269
數(shù)據(jù)科學(xué)的關(guān)注度越來越高，但仍需努力縮短它與Hadoop陣營的距離…269
“大數(shù)據(jù)+物聯(lián)網(wǎng)”的結(jié)合是理所當(dāng)然的，并將持續(xù)探索最優(yōu)架構(gòu)…270
Mike　Olson眼中Hadoop的未來…271
針對商業(yè)用戶提供良好的用戶體驗(yàn)…272
與宣傳本公司服務(wù)相比，我們更需要多分享個(gè)人見解…273
應(yīng)用大數(shù)據(jù)技術(shù)時(shí)引發(fā)的個(gè)人信息安全問題…274
大數(shù)據(jù)也有可能得到錯(cuò)誤的收集與分析…274
借助大數(shù)據(jù)分析人類情感…275
大數(shù)據(jù)行業(yè)現(xiàn)狀…276
通過Strata　Hadoop World 2014預(yù)測大數(shù)據(jù)市場…277
Teradata　PARTNERS Conference 2014（Teradata 合作伙伴會(huì)議2014）…279
eBay：分析、運(yùn)營海量數(shù)據(jù)…281
數(shù)據(jù)倉庫與Hadoop之間的關(guān)系…282
通用汽車公司的全新EDW架構(gòu)…284
沃爾沃大數(shù)據(jù)系統(tǒng)應(yīng)用案例…287
Teradata的統(tǒng)一數(shù)據(jù)架構(gòu)…291
對大數(shù)據(jù)排序以幫助決策…294
SQL　On Hadoop領(lǐng)域中值得關(guān)注的產(chǎn)品…294
個(gè)人隱私保護(hù)問題…296
后記…298