高維數(shù)據(jù)非負矩陣分解方法

目 錄
第1章 緒論 001
1.1 本書研究背景及意義 001
1.2 國內(nèi)外研究現(xiàn)狀 006
1.2.1 非負矩陣分解發(fā)展歷史 006
1.2.2 國內(nèi)外研究機構(gòu) 008
1.2.3 非負數(shù)據(jù)降維研究現(xiàn)狀 009
1.3 本書主要工作 012
1.4 本書組織結(jié)構(gòu) 014
第2章 非負矩陣分解基礎(chǔ) 016
2.1　非負矩陣分解模型 016
2.1.1　相似性度量 017
2.1.2　先驗信息 024
2.1.3　擴展模型 032
2.2 非負矩陣分解理論問題 035
2.2.1 數(shù)據(jù)表示特性 035
2.2.2 維數(shù)選擇 036
2.2.3 非負矩陣分解與聚類分析算法的等價關(guān)系 038
2.3　優(yōu)化算法 040
2.3.1　初始化方法 040
2.3.2　不精確塊迭代方法 041
2.3.3 精確塊迭代方法 045
2.3.4　隨機規(guī)劃方法 048
2.3.5 多層分解方法 048
2.3.6 在線優(yōu)化算法 049
2.3.7　并行與分布式算法 050
2.4 應(yīng)用領(lǐng)域 052
2.4.1 數(shù)據(jù)挖掘 052
2.4.2 模式識別 054
2.5 本章小結(jié)與討論 055
第3章 非負塊配準框架 057
3.1 引言 057
3.1.1 局部優(yōu)化 060
3.1.2　全局配準 060
3.2 非負塊配準框架 061
3.2.1 基于KL距離的NPAF 063
3.2.2 基于歐幾里得距離的NPAF 070
3.2.3 計算復(fù)雜性分析 076
3.2.4 非負數(shù)據(jù)降維算法框架比較 076
3.3 非負數(shù)據(jù)降維算法的分析 077
3.3.1 非負矩陣分解 078
3.3.2 局部非負矩陣分解 078
3.3.3 判別非負矩陣分解 080
3.3.4 圖罰分非負矩陣分解 081
3.4 非負塊配準框架派生模型實例 082
3.4.1 非負PCA模型 082
3.4.2 非負LLE模型 083
3.4.3 非負LTSA模型 084
3.5 本章小結(jié)與討論 085
第4章 非負判別局部塊配準模型 087
4.1 引言 087
4.2 模型定義 089
4.2.1 數(shù)學描述 090
4.2.2 兩類NDLA模型 092
4.2.3 流形學習角度的解釋 093
4.3 改進NDLA模型 094
4.4 模型求解算法 095
4.4.1 乘法更新規(guī)則 095
4.4.2 計算復(fù)雜性 098
4.5 試驗結(jié)果 098
4.5.1 人臉識別 098
4.5.2 手寫體識別 103
4.5.3 局部特征提取 105
4.5.4 結(jié)果分析 107
4.6 本章小結(jié)與討論 109
第5章 非負塊配準框架快速梯度下降算法 111
5.1　引言 111
5.2　改進乘法更新規(guī)則 113
5.3　快速梯度下降算法 118
5.3.1　單步長快速線搜索 119
5.3.2　多步長快速線搜索 122
5.3.3　平衡多步長快速線搜索 128
5.4　基于歐幾里得距離的NPAF優(yōu)化 131
5.4.1　NPAFE快速梯度下降算法 131
5.4.2　NPAFE投影梯度下降算法 137
5.4.3　計算復(fù)雜性分析 138
5.5　非負塊配準框架派生模型優(yōu)化 139
5.6　數(shù)值試驗 139
5.6.1　單步長快速梯度下降算法 140
5.6.2　多步長快速梯度下降算法 143
5.7　本章小結(jié)與討論 146
第6章 非負矩陣分解最優(yōu)梯度下降算法 147
6.1 引言 147
6.1.1 非負矩陣分解優(yōu)化算法研究現(xiàn)狀 150
6.1.2　最優(yōu)梯度下降算法 154
6.2 非負矩陣分解最優(yōu)梯度下降算法 155
6.2.1　非負最小二乘優(yōu)化算法 156
6.2.2 非負矩陣分解優(yōu)化算法 164
6.2.3　擴展模型優(yōu)化算法 166
6.3 非負塊配準最優(yōu)梯度下降算法 168
6.3.1 派生模型優(yōu)化算法 171
6.4 試驗結(jié)果 172
6.4.1 非負矩陣分解優(yōu)化 172
6.4.2 圖正則非負矩陣分解優(yōu)化 182
6.5 本章小結(jié)與討論 183
第7章 非負矩陣分解在線優(yōu)化算法 185
7.1 引言 185
7.1.1 在線非負矩陣分解研究現(xiàn)狀 186
7.1.2 INMF-VC算法 189
7.1.3 OMF-DA算法 190
7.1.4 魯棒隨機近似算法 191
7.2 基于RSA的在線非負矩陣分解算法 193
7.2.1 緩沖池策略 197
7.2.2 計算復(fù)雜性 199
7.2.3 收斂性分析 199
7.3 非負矩陣分解擴展模型的在線優(yōu)化 203
7.3.1 滑動窗口更新擴展 204
7.3.2 距離度量擴展 204
7.3.3 稀疏約束擴展 205
7.3.4 平滑約束擴展 206
7.3.5 盒約束擴展 206
7.4 數(shù)值試驗 207
7.4.1 在線非負矩陣分解效率比較 208
7.4.2 人臉識別 215
7.5 本章小結(jié)與討論 217
第8章 非負矩陣分解典型應(yīng)用實例 218
8.1　引言 218
8.2　模式識別 219
8.2.1　人臉識別 220
8.3　數(shù)據(jù)挖掘 229
8.3.1　文本聚類 230
8.4　信息檢索 234
8.4.1　圖像標注 234
8.5　本章小結(jié)與討論 240
附錄A 輔助函數(shù)技術(shù) 242
A.1 輔助函數(shù)的定義 242
A.2 輔助函數(shù)應(yīng)用 242
附錄B 一階優(yōu)化方法與收斂速度 244
B.1 收斂速度的定義 244
B.2 一階優(yōu)化方法假設(shè) 245
B.3 一階優(yōu)化方法的最優(yōu)收斂速度 245
參考文獻 246
后記 277