123,123,123

內(nèi)容簡(jiǎn)介

　　目前大數(shù)據(jù)技術(shù)已經(jīng)日趨成熟，但是業(yè)界發(fā)現(xiàn)與大數(shù)據(jù)相關(guān)的產(chǎn)品設(shè)計(jì)和研發(fā)仍然非常困難，技術(shù)、產(chǎn)品和商業(yè)的結(jié)合度還遠(yuǎn)遠(yuǎn)不夠。這主要是因?yàn)榇髷?shù)據(jù)涉及范圍廣、技術(shù)含量高、更新?lián)Q代快，門檻也比其他大多數(shù)IT行業(yè)更高。人們要么使用昂貴的商業(yè)解決方案，要么花費(fèi)巨大的精力摸索。本書通過(guò)一個(gè)虛擬的互聯(lián)網(wǎng)O2O創(chuàng)業(yè)故事，來(lái)逐步展開介紹創(chuàng)業(yè)各個(gè)階段可能遇到的大數(shù)據(jù)課題、業(yè)務(wù)需求，以及相對(duì)應(yīng)的技術(shù)方案，甚至是實(shí)踐解析；讓讀者身臨其境，一起來(lái)探尋大數(shù)據(jù)的奧秘。書中會(huì)覆蓋較廣泛的技術(shù)點(diǎn)，并提供相應(yīng)的背景知識(shí)介紹，對(duì)于想進(jìn)一步深入研究細(xì)節(jié)的讀者，也可輕松獲得繼續(xù)閱讀的方向和指導(dǎo)性建議。

作者簡(jiǎn)介

　　黃申，博士，畢業(yè)于上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程專業(yè)，師從俞勇教授。微軟學(xué)者，IBMExtremeBlue天才計(jì)劃成員。長(zhǎng)期專注于大數(shù)據(jù)相關(guān)的搜索、推薦、廣告以及用戶精準(zhǔn)化領(lǐng)域。曾在微軟亞洲研究院、eBay中國(guó)、沃爾瑪1號(hào)店和大潤(rùn)發(fā)飛牛網(wǎng)擔(dān)任要職，帶隊(duì)完成了若干公司級(jí)的戰(zhàn)略項(xiàng)目。同時(shí)著有20多篇國(guó)際論文和10多項(xiàng)國(guó)際專利，兼任《計(jì)算機(jī)工程》期刊特邀審稿專家。因其對(duì)業(yè)界的卓越貢獻(xiàn)，2015年獲得美國(guó)政府頒發(fā)的“美國(guó)杰出人才”稱號(hào)。

圖書目錄

推薦序一
推薦序二
前　　言
第1章　抉擇    1
第2章　數(shù)據(jù)收集    4
2.1　互聯(lián)網(wǎng)數(shù)據(jù)收集    4
2.1.1　網(wǎng)絡(luò)爬蟲    5
2.1.2　Apache Nutch簡(jiǎn)介    11
2.1.3　Heritrix簡(jiǎn)介    14
2.2　內(nèi)部數(shù)據(jù)收集    15
2.2.1　Apache Flume簡(jiǎn)介    17
2.2.2　Facebook Scribe和Logstash    21
2.3　本章心得    21
2.4　參考資料    22
第3章　數(shù)據(jù)存儲(chǔ)    23
3.1　持久化存儲(chǔ)    23
3.1.1　Hadoop和HDFS    25
3.1.2　HBase簡(jiǎn)介    28
3.1.3　MongoDB    35
3.2　非持久化存儲(chǔ)    37
3.2.1　緩存和散列    37
3.2.2　Memcached和Berkeley DB簡(jiǎn)介    41
3.2.3　Redis簡(jiǎn)介    41
3.3　本章心得    44
3.4　參考資料    44
第4章　數(shù)據(jù)處理    46
4.1　離線批量處理    46
4.1.1　Hadoop的MapReduce    47
4.1.2　Spark簡(jiǎn)介    52
4.1.3　Hive簡(jiǎn)介    53
4.1.4　Pig、Impala和Spark SQL    56
4.2　提升及時(shí)性：消息機(jī)制    58
4.2.1　ActiveMQ簡(jiǎn)介    60
4.2.2　Kafka簡(jiǎn)介    61
4.3　在線實(shí)時(shí)處理    63
4.3.1　Storm簡(jiǎn)介    63
4.3.2　Spark Streaming簡(jiǎn)介    66
4.4　本章心得    66
4.5　參考資料    67
第5章　信息檢索    69
5.1　基本理念    70
5.2　相關(guān)性    70
5.2.1　布爾模型    70
5.2.2　基于排序的布爾模型    71
5.2.3　向量空間模型    74
5.2.4　語(yǔ)言模型    75
5.3　及時(shí)性    77
5.4　與數(shù)據(jù)庫(kù)查詢的對(duì)比    81
5.5　搜索引擎    82
5.5.1　Web搜索中的鏈接分析    83
5.5.2　電子商務(wù)中的商品排序    86
5.5.3　多因素和基于學(xué)習(xí)的排序    88
5.5.4　系統(tǒng)框架    89
5.5.5　Lucene簡(jiǎn)介    93
5.5.6　Solr簡(jiǎn)介    98
5.5.7　Elasticsearch簡(jiǎn)介    104
5.6　推薦系統(tǒng)    108
5.6.1　推薦的核心要素    109
5.6.2　推薦系統(tǒng)的分類    110
5.6.3　混合模型    115
5.6.4　系統(tǒng)架構(gòu)    116
5.6.5　Mahout    116
5.7　在線廣告    119
5.8　本章心得    127
5.9　參考資料    128
第6章　數(shù)據(jù)挖掘    130
6.1　基本理念    131
6.2　數(shù)據(jù)的表示和預(yù)處理    133
6.3　機(jī)器學(xué)習(xí)算法    136
6.4　挖掘工具    157
6.5　本章心得    165
6.6　參考資料    165
第7章　效能評(píng)估    167
7.1　效果評(píng)估    168
7.2　性能評(píng)估    190
7.3　本章心得    202
7.4　參考資料    202
第8章　大數(shù)據(jù)技術(shù)全景    204
第9章　商品太多啦！需要搜索引擎    207
9.1　業(yè)務(wù)需求    207
9.2　產(chǎn)品設(shè)計(jì)和技術(shù)選型    208
9.3　實(shí)現(xiàn)方案    211
第10章　能否更主動(dòng)？還需要推薦引擎    223
10.1　業(yè)務(wù)需求    223
10.2　產(chǎn)品設(shè)計(jì)和技術(shù)選型    225
10.3　實(shí)現(xiàn)方案    230
第11章　這樣做的效果如何    241
11.1　業(yè)務(wù)需求    241
11.2　產(chǎn)品設(shè)計(jì)和技術(shù)選型    242
11.3　實(shí)現(xiàn)方案    243
第12章　這個(gè)搜索有點(diǎn)遜    258
12.1　業(yè)務(wù)需求：還要搜得更多    258
12.2　“還要搜得更多”：產(chǎn)品設(shè)計(jì)和技術(shù)選型    259
12.3　“還要搜得更多”的方案實(shí)現(xiàn)    261
12.4　業(yè)務(wù)需求：還要搜得更準(zhǔn)    265
12.5　“還要搜得更準(zhǔn)”：產(chǎn)品設(shè)計(jì)和技術(shù)選型    266
12.6　“還要搜得更準(zhǔn)”的方案實(shí)現(xiàn)    271
12.7　業(yè)務(wù)需求：還要更快    273
12.8　還要“變”得更快：產(chǎn)品設(shè)計(jì)和技術(shù)選型    274
12.9　還要“搜”得更快：產(chǎn)品設(shè)計(jì)和技術(shù)選型    275
12.10　業(yè)務(wù)需求：給點(diǎn)提示吧    280
12.11　給點(diǎn)提示吧：產(chǎn)品設(shè)計(jì)和技術(shù)選型    282
第13章　支持更高效的運(yùn)營(yíng)    287
13.1　業(yè)務(wù)需求：互聯(lián)網(wǎng)時(shí)代的CRM    287
13.2　互聯(lián)網(wǎng)時(shí)代的CRM：產(chǎn)品設(shè)計(jì)和技術(shù)選型    288
13.3　業(yè)務(wù)需求：抓住搗蛋鬼    291
13.4　抓住搗蛋鬼：產(chǎn)品設(shè)計(jì)和技術(shù)選型    292
13.5　業(yè)務(wù)需求：銷售之戰(zhàn)    295
13.6　銷售之戰(zhàn)：產(chǎn)品設(shè)計(jì)和技術(shù)選型    296
后記    299