美團(tuán)機(jī)器學(xué)習(xí)實(shí)踐

第　一部分 通用流程

第　1章 問題建?！?

1.1　評估指標(biāo)　3

1.1.1　分類指標(biāo)　4

1.1.2　回歸指標(biāo)　7

1.1.3　排序指標(biāo)　9

1.2　樣本選擇　10

1.2.1　數(shù)據(jù)去噪　11

1.2.2　采樣　12

1.2.3　原型選擇和訓(xùn)練集選擇　13

1.3　交叉驗(yàn)證　14

1.3.1　留出法　14

1.3.2　K折交叉驗(yàn)證　15

1.3.3　自助法　16

參考文獻(xiàn)　17

第　2章 特征工程　18

2.1　特征提取　18

2.1.1　探索性數(shù)據(jù)分析　19

2.1.2　數(shù)值特征　20

2.1.3　類別特征　22

2.1.4　時(shí)間特征　24

2.1.5　空間特征　25

2.1.6　文本特征　25

2.2　特征選擇　27

2.2.1　過濾方法　28

2.2.2　封裝方法　31

2.2.3　嵌入方法　31



2.2.4　小結(jié)　32

2.2.5　工具介紹　33

參考文獻(xiàn)　33

第3章　常用模型　35

3.1　邏輯回歸　35

3.1.1　邏輯回歸原理　35

3.1.2　邏輯回歸應(yīng)用　38

3.2　場感知因子分解機(jī)　39

3.2.1　因子分解機(jī)原理　39

3.2.2　場感知因子分解機(jī)原理　40

3.2.3　場感知因子分解機(jī)的應(yīng)用　41

3.3　梯度提升樹　42

3.3.1　梯度提升樹原理　42

3.3.2　梯度提升樹的應(yīng)用　44

參考文獻(xiàn)　44

第4章　模型融合　45

4.1　理論分析　46

4.1.1　融合收益　46

4.1.2　模型誤差 分歧分解　46

4.1.3　模型多樣性度量　48

4.1.4　多樣性增強(qiáng)　49

4.2　融合方法　50

4.2.1　平均法　50

4.2.2　投票法　52

4.2.3　Bagging　54

4.2.4　Stacking　55

4.2.5　小結(jié)　56

參考文獻(xiàn)　57

第二部分　數(shù)據(jù)挖掘

第5章　用戶畫像　60

5.1　什么是用戶畫像　60

5.2　用戶畫像數(shù)據(jù)挖掘　63

5.2.1　畫像數(shù)據(jù)挖掘整體架構(gòu)　63

5.2.2　用戶標(biāo)識　65

5.2.3　特征數(shù)據(jù)　67

5.2.4　樣本數(shù)據(jù)　68

5.2.5　標(biāo)簽建?！?9

5.3　用戶畫像應(yīng)用　83

5.3.1　用戶畫像實(shí)時(shí)查詢系統(tǒng)　83

5.3.2　人群畫像分析系統(tǒng)　87

5.3.3　其他系統(tǒng)　90

5.3.4　線上應(yīng)用效果　91

5.4　小結(jié)　91

參考文獻(xiàn)　91

第6章　POI實(shí)體鏈接　92

6.1　問題的背景與難點(diǎn)　92

6.2　國內(nèi)酒店P(guān)OI實(shí)體鏈接解決方案　94

6.2.1　酒店P(guān)OI實(shí)體鏈接　94

6.2.2　數(shù)據(jù)清洗　96

6.2.3　特征生成　97

6.2.4　模型選擇與效果評估　100

6.2.5　索引粒度的配置　101

6.3　其他場景的策略調(diào)整　101

6.4　小結(jié)　103

第7章　評論挖掘　104

7.1　評論挖掘的背景　104

7.1.1　評論挖掘的粒度　105

7.1.2　評論挖掘的維度　105

7.1.3　評論挖掘的整合思考　106

7.2　評論標(biāo)簽提取　106

7.2.1　數(shù)據(jù)的獲取及預(yù)處理　107

7.2.2　無監(jiān)督的標(biāo)簽提取方法　109

7.2.3　基于深度學(xué)習(xí)的標(biāo)簽提取方法　111

7.3　標(biāo)簽情感分析　113

7.3.1　評論標(biāo)簽情感分析的特殊性　113

7.3.2　基于深度學(xué)習(xí)的情感分析方法　115

7.3.3　評論標(biāo)簽情感分析的后續(xù)優(yōu) 化與思考　118

7.4　評論挖掘的未來應(yīng)用及實(shí)踐　119

7.5　小結(jié)　119

參考文獻(xiàn)　119

第三部分　搜索和推薦

第8章　O2O場景下的查詢理解與 用戶引導(dǎo)　122

8.1　現(xiàn)代搜索引擎原理　123

8.2　精確理解查詢　124

8.2.1　用戶查詢意圖的定義與識別　125

8.2.2　查詢實(shí)體識別與結(jié)構(gòu)化　129

8.2.3　召回策略的變遷　130

8.2.4　查詢改寫　131

8.2.5　詞權(quán)重與相關(guān)性計(jì)算　134

8.2.6　類目相關(guān)性與人工標(biāo)注　135

8.2.7　查詢理解小結(jié)　136

8.3　引導(dǎo)用戶完成搜索　137

8.3.1　用戶引導(dǎo)的產(chǎn)品定義與衡量 標(biāo)準(zhǔn)　137

8.3.2　搜索前的引導(dǎo)——查詢詞 推薦　140

8.3.3　搜索中的引導(dǎo)——查詢補(bǔ)全　143

8.3.4　搜索后的引導(dǎo)——相關(guān)搜索　145

8.3.5　效率提升與效果提升　145

8.3.6　用戶引導(dǎo)小結(jié)　149

8.4　小結(jié)　149

參考文獻(xiàn)　150

第9章　O2O場景下排序的特點(diǎn)　152

9.1　系統(tǒng)概述　154

9.2　在線排序服務(wù)　154

9.3　多層正交A/B測試　155

9.4　特征獲取　155

9.5　離線調(diào)研系統(tǒng)　156

9.6　特征工程　156

9.7　排序模型　157

9.8　場景化排序　160

9.9　小結(jié)　165

第　10章 推薦在O2O場景的應(yīng)用　166

10.1　典型的O2O推薦場景　166

10.2　O2O推薦場景特點(diǎn)　167

10.2.1　O2O場景的地理位置因素　168

10.2.2　O2O場景的用戶歷史行為　168

10.2.3　O2O場景的實(shí)時(shí)推薦　169

10.3　美團(tuán)推薦實(shí)踐——推薦框架　169

10.4　美團(tuán)推薦實(shí)踐——推薦召回　170

10.4.1　基于協(xié)同過濾的召回　171

10.4.2　基于位置的召回　171

10.4.3　基于搜索查詢的召回　172

10.4.4　基于圖的召回　172

10.4.5　基于實(shí)時(shí)用戶行為的召回　172

10.4.6　替補(bǔ)策略　172

10.5　美團(tuán)推薦實(shí)踐——推薦排序　173

10.5.1　排序特征　173

10.5.2　排序樣本　174

10.5.3　排序模型　175

10.6　推薦評價(jià)指標(biāo)　176

參考文獻(xiàn)　176

第四部分　計(jì)算廣告

第　11章 O2O場景下的廣告營銷　178

11.1　O2O場景下的廣告業(yè)務(wù)特點(diǎn)　178

11.2　商戶、用戶和平臺(tái)三者利益平衡　180

11.2.1　商戶效果感知　180

11.2.2　用戶體驗(yàn)　181

11.2.3　平臺(tái)收益　182

11.3　O2O廣告機(jī)制設(shè)計(jì)　183

11.3.1　廣告位設(shè)定　183

11.3.2　廣告召回機(jī)制　183

11.3.3　廣告排序機(jī)制　184

11.4　O2O推送廣告　187

11.5　O2O廣告系統(tǒng)工具　190

11.5.1　面向開發(fā)人員的系統(tǒng)工具　190

11.5.2　面向廣告主和運(yùn)營人員的 工具　192

11.6　小結(jié)　194

參考文獻(xiàn)　194

第　12章 用戶偏好和損失建模　196

12.1　如何定義用戶偏好　196

12.1.1　什么是用戶偏好　196

12.1.2　如何衡量用戶偏好　196

12.1.3　對不同POI 的偏好　197

12.1.4　用戶對 POI 偏好的衡量　197

12.2　廣告價(jià)值與偏好損失的兌換　198

12.2.1　優(yōu)化目標(biāo)　199

12.2.2　模型建?！?99

12.3　Pairwise 模型學(xué)習(xí)　201

12.3.1　GBRank　202

12.3.2　RankNet　204

參考文獻(xiàn)　205

第五部分　深度學(xué)習(xí)

第　13章 深度學(xué)習(xí)概述　208

13.1　深度學(xué)習(xí)技術(shù)發(fā)展歷程　209

13.2　深度學(xué)習(xí)基礎(chǔ)結(jié)構(gòu)　211

13.3　深度學(xué)習(xí)研究熱點(diǎn)　216

13.3.1　基于深度學(xué)習(xí)的生成式模型　216

13.3.2　深度強(qiáng)化學(xué)習(xí)　218

參考文獻(xiàn)　219

第　14章 深度學(xué)習(xí)在文本領(lǐng)域的應(yīng)用　220

14.1　基于深度學(xué)習(xí)的文本匹配　221

14.2　基于深度學(xué)習(xí)的排序模型　231

14.2.1　排序模型簡介　231

14.2.2　深度學(xué)習(xí)排序模型的演進(jìn)　232

14.2.3　美團(tuán)的深度學(xué)習(xí)排序模型 嘗試　235

14.3　小結(jié)　237

參考文獻(xiàn)　237

第　15章 深度學(xué)習(xí)在計(jì)算機(jī)視覺中的 應(yīng)用　238

15.1　基于深度學(xué)習(xí)的OCR　238

15.1.1　OCR技術(shù)發(fā)展歷程　239

15.1.2　基于深度學(xué)習(xí)的文字檢測　244

15.1.3　基于序列學(xué)習(xí)的文字識別　248

15.1.4　小結(jié)　251

15.2　基于深度學(xué)習(xí)的圖像智能審核　251

15.2.1　基于深度學(xué)習(xí)的水印檢測　252

15.2.2　明星臉識別　254

15.2.3　色情圖片檢測　257

15.2.4　場景分類　257

15.3　基于深度學(xué)習(xí)的圖像質(zhì)量排序　259

15.3.1　圖像美學(xué)質(zhì)量評價(jià)　260

15.3.2　面向點(diǎn)擊預(yù)測的圖像質(zhì)量 評價(jià)　260

15.4　小結(jié)　263

參考文獻(xiàn)　264

第六部分　算法工程

第　16章 大規(guī)模機(jī)器學(xué)習(xí)　268

16.1　并行計(jì)算編程技術(shù)　268

16.1.1　向量化　269

16.1.2　多核并行OpenMP　270

16.1.3　GPU編程　272

16.1.4　多機(jī)并行MPI　273

16.1.5　并行編程技術(shù)小結(jié)　276

16.2　并行計(jì)算模型　276

16.2.1　BSP　277

16.2.2　SSP　279

16.2.3　ASP　280

16.2.4　參數(shù)服務(wù)器　281

16.3　并行計(jì)算案例　284

16.3.1　XGBoost并行庫Rabit　284

16.3.2　MXNet并行庫PS-Lite　286

16.4　美團(tuán)并行計(jì)算機(jī)器學(xué)習(xí)平臺(tái)　287

參考文獻(xiàn)　289

第　17章 特征工程和實(shí)驗(yàn)平臺(tái)　290

17.1　特征平臺(tái)　290

17.1.1　特征生產(chǎn)　290

17.1.2　特征上線　293

17.1.3　在線特征監(jiān)控　301

17.2　實(shí)驗(yàn)管理平臺(tái)　302

17.2.1　實(shí)驗(yàn)平臺(tái)概述　302

17.2.2　美團(tuán)實(shí)驗(yàn)平臺(tái)——Gemini　304