阿里云天池大賽賽題解析：深度學(xué)習(xí)篇

目　　錄
賽題一 瑞金醫(yī)院MMC人工智能輔助構(gòu)建知識(shí)圖譜
0 技術(shù)背景 3
0．1 技術(shù)現(xiàn)狀 3
0．2 實(shí)驗(yàn)室介紹 3
1 賽題解讀 7
1．1 賽題背景 7
1．2 知識(shí)圖譜 7
1．2．1 知識(shí)圖譜的發(fā)展歷史 7
1．2．2 如何表達(dá)知識(shí) 9
1．2．3 如何構(gòu)建知識(shí)圖譜 11
1．2．4 如何進(jìn)行知識(shí)推理 13
1．3 數(shù)據(jù)介紹 15
1．3．1 初賽數(shù)據(jù) 16
1．3．2 復(fù)賽數(shù)據(jù) 17
1．4 評(píng)測指標(biāo) 18
2 數(shù)據(jù)處理 19
2．1 自然語言處理基礎(chǔ) 19
2．1．1 詞向量 19
2．1．2 語言模型 20
2．1．3 自然語言處理中的深度學(xué)習(xí) 24
2．2 數(shù)據(jù)預(yù)處理 29
2．2．1 ．txt文件 29
2．2．2 ．a(chǎn)nn文件 30
2．2．3 使用Python解析文件 32
3 初賽賽題――實(shí)體識(shí)別 35
3．1 實(shí)體識(shí)別任務(wù) 35
3．2 傳統(tǒng)機(jī)器學(xué)習(xí)方法 36
3．2．1 概率圖模型 36
3．2．2 隱馬爾可夫模型 38
3．2．3 最大熵馬爾可夫模型 39
3．2．4 條件隨機(jī)場模型 40
3．3 深度學(xué)習(xí)方法 41
3．3．1 雙向循環(huán)神經(jīng)網(wǎng)絡(luò) 41
3．3．2 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)+條件隨機(jī)場模型 43
3．4 初賽方案 44
3．4．1 數(shù)據(jù)集構(gòu)建 44
3．4．2 特征工程 46
3．4．3 模型構(gòu)建 47
4 復(fù)賽賽題――關(guān)系抽取 53
4．1 關(guān)系抽取任務(wù) 53
4．2 傳統(tǒng)方法 53
4．2．1 基于模板的抽取 53
4．2．2 基于依存句法的抽取 54
4．2．3 基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)的抽取 55
4．3 深度學(xué)習(xí)方法 56
4．3．1 監(jiān)督學(xué)習(xí) 56
4．3．2 半監(jiān)督學(xué)習(xí) 57
4．4 復(fù)賽方案 59
4．4．1 數(shù)據(jù)集構(gòu)建 59
4．4．2 特征工程 62
4．4．3 模型構(gòu)建 63
5 Neo4j存儲(chǔ)知識(shí)圖譜 69
5．1 Neo4j介紹 69
5．2 Neo4j配置 70
5．2．1 安裝 70
5．2．2 Web管理平臺(tái) 71
5．2．3 Neo4j-shell 72
5．3 數(shù)據(jù)庫構(gòu)建 72
5．3．1 準(zhǔn)備工作 72
5．3．2 創(chuàng)建數(shù)據(jù)庫 72
5．3．3 事務(wù) 73
5．3．4 創(chuàng)建節(jié)點(diǎn) 73
5．3．5 創(chuàng)建關(guān)系 74
5．3．6 查詢 74
5．4 Cypher查詢 75
5．4．1 讀語句 76
5．4．2 寫語句 76
5．4．3 通用語句 78
6 賽題進(jìn)階討論 80
6．1 數(shù)據(jù)標(biāo)注方法 80
6．1．1 指針標(biāo)注 80
6．1．2 片段排列 81
6．2 聯(lián)合抽取 82
6．2．1 共享參數(shù) 82
6．2．2 聯(lián)合標(biāo)注 84
6．3 大規(guī)模預(yù)訓(xùn)練語言模型 86
6．3．1 ELMo模型 86
6．3．2 GPT模型 87
6．3．3 BERT模型 89
6．3．4 使用BERT模型進(jìn)行實(shí)體識(shí)別與關(guān)系抽取 90
賽題二 阿里巴巴優(yōu)酷視頻增強(qiáng)和超分辨率挑戰(zhàn)賽
0 技術(shù)背景 95
0．1 業(yè)界應(yīng)用 95
0．2 文娛行業(yè)面臨的畫質(zhì)問題 95
0．3 實(shí)驗(yàn)室介紹和技術(shù)手段 96
0．4 重點(diǎn)模塊 97
0．5 處理效果 98
1 賽題解讀 100
1．1 賽題背景 100
1．2 賽題目標(biāo) 100
1．3 數(shù)據(jù)概覽 100
1．4 評(píng)估指標(biāo) 101
1．5 解題思路 102
1．6 賽題模型 103
2 數(shù)據(jù)處理 105
2．1 視頻和圖像處理 105
2．1．1 圖像基本概念 105
2．1．2 視頻基本概念 106
2．1．3 視頻分幀 107
2．1．4 圖像處理 108
2．1．5 圖片合成視頻 110
2．2 工具包 111
2．2．1 OpenCV庫 111
2．2．2 FFmpeg庫 112
2．3 數(shù)據(jù)處理 112
2．3．1 安裝工具包 112
2．3．2 導(dǎo)入工具包 112
2．3．3 視頻轉(zhuǎn)圖片函數(shù) 112
2．3．4 讀取圖片并獲取大小 113
2．3．5 讀取圖片并進(jìn)行灰度處理 114
2．3．6 分幀后的圖片灰度處理 114
2．3．7 圖片轉(zhuǎn)視頻函數(shù) 115
3 傳統(tǒng)插值方法 117
3．1 插值方法 117
3．1．1 插值方法的基本概念 117
3．1．2 插值原理 118
3．2 插值算法 118
3．2．1 最近鄰插值算法 119
3．2．2 雙線性插值算法 119
3．2．3 雙三次插值算法 120
3．3 幾種傳統(tǒng)插值算法結(jié)果對(duì)比 121
3．4 數(shù)據(jù)處理 122
3．4．1 導(dǎo)入工具包 122
3．4．2 讀取圖片 122
3．4．3 最近鄰插值算法 122
3．4．4 雙線性插值算法 123
3．4．5 基于4px×4px鄰域的三次插值算法 123
3．4．6 不同插值函數(shù)計(jì)算PSNR 123
3．4．7 傳統(tǒng)插值方法效果對(duì)比 123
3．4．8 Bicubic插值算法 124
4 深度插值方法 126
4．1 深度學(xué)習(xí) 126
4．1．1 卷積神經(jīng)網(wǎng)絡(luò) 126
4．1．2 使用SRCNN實(shí)現(xiàn)超清分辨率 132
4．2 賽題實(shí)踐 132
4．2．1 導(dǎo)入工具包 132
4．2．2 讀取圖片 133
4．2．3 使用Bicubic插值放大至目標(biāo)尺寸 133
4．2．4 實(shí)現(xiàn)SRCNN 133
4．2．5 SRCNN模型訓(xùn)練 133
4．2．6 SRCNN模型驗(yàn)證 135
4．2．7 SRCNN模型預(yù)測 135
4．2．8 保存圖片 135
5 深度學(xué)習(xí)方法改進(jìn) 136
5．1 FSRCNN實(shí)現(xiàn)超清分辨率 136
5．2 ESPCN實(shí)現(xiàn)超清分辨率 138
5．3 賽題實(shí)踐 140
5．3．1 導(dǎo)入工具包 140
5．3．2 讀取圖片 140
5．3．3 FSRCNN 140
5．3．4 ESPCN 142
6 深度學(xué)習(xí)方法進(jìn)階 145
6．1 GAN基本概念 145
6．1．1 GAN生成手寫數(shù)字 146
6．1．2 GAN訓(xùn)練 147
6．1．3 GAN算法數(shù)學(xué)形式 148
6．2 CGAN 149
6．3 VGGNet 150
6．4 ResNet 153
6．5 SRGAN結(jié)構(gòu) 156
6．5．1 SRGAN損失函數(shù) 157
6．5．2 SRGAN效果 157
6．6 SRGAN實(shí)現(xiàn)超清分辨率 158
6．6．1 導(dǎo)入工具包 158
6．6．2 讀取圖片 159
6．6．3 實(shí)現(xiàn)SRGAN 159
6．6．4 SRGAN模型訓(xùn)練 163
6．6．5 SRGAN模型驗(yàn)證 163
6．6．6 SRGAN模型預(yù)測 163
6．6．7 保存圖片 163
賽題三 布匹疵點(diǎn)智能識(shí)別
（2019廣東工業(yè)智造創(chuàng)新大賽 賽場一）
0 技術(shù)背景 167
0．1 行業(yè)背景 167
0．2 實(shí)驗(yàn)室產(chǎn)品介紹 168
0．3 賽題背景 170
0．4 初賽數(shù)據(jù)示例 171
0．5 復(fù)賽數(shù)據(jù)示例 172
1 賽題解析 173
1．1 賽題背景分析 173
1．2 計(jì)算機(jī)視覺 174
1．2．1 計(jì)算機(jī)視覺簡介 174
1．2．2 計(jì)算機(jī)視覺發(fā)展歷史 175
1．2．3 計(jì)算機(jī)視覺方法 177
1．3 數(shù)據(jù)集介紹 178
1．4 賽題指標(biāo)介紹 179
1．5 賽題初步分析 181
2 深度學(xué)習(xí)基礎(chǔ) 182
2．1 感知機(jī) 182
2．2 梯度下降法 184
2．3 多層感知機(jī) 186
2．4 反向傳播 189
2．5 深度神經(jīng)網(wǎng)絡(luò)PyTorch實(shí)現(xiàn) 189
3 卷積神經(jīng)網(wǎng)絡(luò)與數(shù)據(jù)處理 193
3．1 卷積運(yùn)算與互相關(guān)運(yùn)算 193
3．2 卷積神經(jīng)網(wǎng)絡(luò) 195
3．3 卷積神經(jīng)網(wǎng)絡(luò)的反向傳播算法 198
3．4 卷積神經(jīng)網(wǎng)絡(luò)PyTorch實(shí)現(xiàn) 199
3．4．1 卷積神經(jīng)網(wǎng)絡(luò)簡單實(shí)現(xiàn)示例 199
3．4．2 競賽數(shù)據(jù)預(yù)訓(xùn)練模型 202
4 區(qū)域卷積神經(jīng)網(wǎng)絡(luò)系列算法 204
4．1 目標(biāo)檢測的基本概念 204
4．2 區(qū)域卷積神經(jīng)網(wǎng)絡(luò) 205
4．3 Fast R-CNN算法 210
4．4 Faster R-CNN算法 214
4．5 目標(biāo)檢測Faster R-CNN算法實(shí)戰(zhàn) 218
5 實(shí)例分割Mask R-CNN算法 226
5．1 實(shí)例分割 226
5．2 Mask R-CNN算法 226
5．3 PyTorch實(shí)現(xiàn)實(shí)例分割 230
6 賽題最優(yōu)算法與提升思路 237
6．1 級(jí)聯(lián)區(qū)域卷積神經(jīng)網(wǎng)絡(luò) 237
6．2 目標(biāo)檢測賽題提升思路 239
6．3 mm-detection框架下的算法實(shí)現(xiàn) 241
參考文獻(xiàn) 242