稀疏非平行支持向量機與最優(yōu)化

1.1稀疏學習2
1.1.1樣本稀疏性2
1.1.2特征稀疏性3
1.2化4
1.2.1問題描述5
1.2.2優(yōu)化算法及其分類5
1.3遺傳算法7
1.3.1基本概念8
1.3.2步驟11
1.3.3基礎理論研究概述12
1.3.4遺傳算法的現(xiàn)狀與展望14
第2章基礎算法15
2.1標準支持向量機(SVM)15
2.2小二乘支持向量機(LSSVM)16
2.3基于Ramp損失的支持向量機(RSVM)18
2.4雙子支持向量機(TWSVM)19
2.4.1線性雙子支持向量機(LTWSVM)20
2.4.2非線性雙子支持向量機(NLTWSVM)21
2.5非平行超平面支持向量機(NPSVM)22
2.6大規(guī)模SVM25
2.7小結25
第3章稀疏的非平行超平面支持向量機(RNPSVM)26
3.1線性情況26
3.1.1原始問題26
3.1.2對偶問題28
3.2非線性情況34
3.3算法分析34
3.4數(shù)值實驗36
3.5小結40
第4章NPSVM的統(tǒng)計學習理論解釋和線性規(guī)劃的NPSVM41
4.1Universum支持向量機(USVM)41
4.2USVM與NPSVM的關系42
4.3基于線性規(guī)劃的NPSVM44
4.3.1線性規(guī)劃問題44
4.3.2數(shù)值實驗46
4.4基于線性規(guī)劃的RNPSVM47
4.4.1線性規(guī)劃問題48
4.4.2數(shù)值實驗50
4.5小結50
第5章稀疏的小二乘支持向量機(RLSSVM)51
5.1LSTWSVM和LSSVM的關系51
5.2基于ε不敏感損失函數(shù)的小二乘支持向量機(εLSSVM)52
5.3基于Ramp損失的小二乘支持向量機(RLSSVM)54
5.3.1原始問題54
5.3.2對偶問題56
5.4算法分析57
5.5數(shù)值實驗58
5.6小結61
第6章大規(guī)模線性NPSVM和RNPSVM算法62
61交替方向乘子法(ADMM)62
62大規(guī)模線性NPSVM63
6.3大規(guī)模線性RNPSVM65
6.4數(shù)值實驗68
6.4.1小規(guī)模數(shù)據(jù)69
6.4.2大規(guī)模數(shù)據(jù)70
6.5小結73
第7章全局化74
7.1平滑技術74
7.2進化算子75
7.2.1平滑函數(shù)的性質75
7.2.2基于一維搜索的雜交算子77
7.2.3變異算子78
7.3新的算法78
7.3.1算法78
7.3.2全局收斂性78
7.4數(shù)值模擬80
7.4.1試驗函數(shù)80
7.4.2模擬結果82
7.5小結85
第8章非線性約束優(yōu)化86
8.1多目標優(yōu)化87
8.1.1多目標優(yōu)化基本問題87
8.1.2均勻設計的基本思想 88
8.2基于多目標優(yōu)化問題轉化的遺傳算法89
8.2.1多目標優(yōu)化問題的轉化89
8.2.2算法190
8.2.3算法293
8.3基于種群分類排隊的約束優(yōu)化遺傳算法98
8.3.1種群分類排隊98
8.3.2遺傳算法99
8.4基于D.S.C.法的進化算法103
8.4.1改進D.S.C.法103
8.4.2遺傳算法104
8.5小結107
參考文獻109