視覺語言交互中的視覺推理研究

第1章 引言
1.1 研究背景 1
1.2 研究現(xiàn)狀 5
1.2.1 指稱語理解 6
1.2.2 視覺對話 8
1.2.3 視覺問答 11
1.3 研究內(nèi)容與貢獻 14
1.4 組織結構 17
第2章 單輪交互情形下的指稱語理解
2.1 研究概述 20
2.2 相關工作 23
2.3 變分背景框架 26
2.3.1 問題表述 26
2.3.2 指稱語理解 29
2.3.3 指稱語生成 31
2.3.4 模型實現(xiàn) 32
2.4 實驗結果 40
2.4.1 實驗設置 40
2.4.2 指稱語理解實驗結果 44
2.4.3 指稱語生成實驗結果 55
2.5 小結 57
第3章 多輪交互情形下的視覺對話
3.1 研究概述 60
3.2 相關工作 64
3.3 預備知識 66
3.4 遞歸視覺注意力模型 66
3.4.1 判別模塊 68
3.4.2 匹配模塊 69
3.4.3 注意力模塊 72
3.5 其他模塊 73
3.5.1 語言特征表示 73
3.5.2 視覺特征表示 75
3.5.3 特征優(yōu)化與融合 76
3.5.4 非線性映射 78
3.5.5 Gumbel離散采樣 79
3.6 實驗結果 80
3.6.1 實驗設置 80
3.6.2 實現(xiàn)細節(jié) 82
3.6.3 對比方法 82
3.6.4 實驗結果分析 85
3.7 小結 93
第4章 知識偏差情形下的視覺問答
4.1 研究概述 96
4.2 相關工作 101
4.3 預備知識 104
4.3.1 因果圖 105
4.3.2 反事實表示 105
4.3.3 因果效應 106
4.4 基于簡化因果圖的反事實視覺問答 107
4.4.1 反事實視覺問答框架 108
4.4.2 技術實現(xiàn) 110
4.5 基于完全因果圖的反事實視覺問答 115
4.5.1 反事實視覺問答框架 115
4.5.2 技術實現(xiàn) 116
4.6 實現(xiàn)細節(jié) 119
4.7 實驗結果 120
4.7.1 實驗設置 120
4.7.2 簡化因果圖實驗結果 122
4.7.3 完全因果圖實驗結果 134
4.8 小結 137
第5章 總結與展望
5.1 創(chuàng)新總結 139
5.2 未來工作展望 141
5.2.1 視覺推理任務 142
5.2.2 知識建模 142
5.2.3 知識偏差 143