稀疏非平行支持向量機(jī)與最優(yōu)化

1.1稀疏學(xué)習(xí)2
1.1.1樣本稀疏性2
1.1.2特征稀疏性3
1.2化4
1.2.1問(wèn)題描述5
1.2.2優(yōu)化算法及其分類5
1.3遺傳算法7
1.3.1基本概念8
1.3.2步驟11
1.3.3基礎(chǔ)理論研究概述12
1.3.4遺傳算法的現(xiàn)狀與展望14
第2章基礎(chǔ)算法15
2.1標(biāo)準(zhǔn)支持向量機(jī)(SVM)15
2.2小二乘支持向量機(jī)(LSSVM)16
2.3基于Ramp損失的支持向量機(jī)(RSVM)18
2.4雙子支持向量機(jī)(TWSVM)19
2.4.1線性雙子支持向量機(jī)(LTWSVM)20
2.4.2非線性雙子支持向量機(jī)(NLTWSVM)21
2.5非平行超平面支持向量機(jī)(NPSVM)22
2.6大規(guī)模SVM25
2.7小結(jié)25
第3章稀疏的非平行超平面支持向量機(jī)(RNPSVM)26
3.1線性情況26
3.1.1原始問(wèn)題26
3.1.2對(duì)偶問(wèn)題28
3.2非線性情況34
3.3算法分析34
3.4數(shù)值實(shí)驗(yàn)36
3.5小結(jié)40
第4章NPSVM的統(tǒng)計(jì)學(xué)習(xí)理論解釋和線性規(guī)劃的NPSVM41
4.1Universum支持向量機(jī)(USVM)41
4.2USVM與NPSVM的關(guān)系42
4.3基于線性規(guī)劃的NPSVM44
4.3.1線性規(guī)劃問(wèn)題44
4.3.2數(shù)值實(shí)驗(yàn)46
4.4基于線性規(guī)劃的RNPSVM47
4.4.1線性規(guī)劃問(wèn)題48
4.4.2數(shù)值實(shí)驗(yàn)50
4.5小結(jié)50
第5章稀疏的小二乘支持向量機(jī)(RLSSVM)51
5.1LSTWSVM和LSSVM的關(guān)系51
5.2基于ε不敏感損失函數(shù)的小二乘支持向量機(jī)(εLSSVM)52
5.3基于Ramp損失的小二乘支持向量機(jī)(RLSSVM)54
5.3.1原始問(wèn)題54
5.3.2對(duì)偶問(wèn)題56
5.4算法分析57
5.5數(shù)值實(shí)驗(yàn)58
5.6小結(jié)61
第6章大規(guī)模線性NPSVM和RNPSVM算法62
61交替方向乘子法(ADMM)62
62大規(guī)模線性NPSVM63
6.3大規(guī)模線性RNPSVM65
6.4數(shù)值實(shí)驗(yàn)68
6.4.1小規(guī)模數(shù)據(jù)69
6.4.2大規(guī)模數(shù)據(jù)70
6.5小結(jié)73
第7章全局化74
7.1平滑技術(shù)74
7.2進(jìn)化算子75
7.2.1平滑函數(shù)的性質(zhì)75
7.2.2基于一維搜索的雜交算子77
7.2.3變異算子78
7.3新的算法78
7.3.1算法78
7.3.2全局收斂性78
7.4數(shù)值模擬80
7.4.1試驗(yàn)函數(shù)80
7.4.2模擬結(jié)果82
7.5小結(jié)85
第8章非線性約束優(yōu)化86
8.1多目標(biāo)優(yōu)化87
8.1.1多目標(biāo)優(yōu)化基本問(wèn)題87
8.1.2均勻設(shè)計(jì)的基本思想 88
8.2基于多目標(biāo)優(yōu)化問(wèn)題轉(zhuǎn)化的遺傳算法89
8.2.1多目標(biāo)優(yōu)化問(wèn)題的轉(zhuǎn)化89
8.2.2算法190
8.2.3算法293
8.3基于種群分類排隊(duì)的約束優(yōu)化遺傳算法98
8.3.1種群分類排隊(duì)98
8.3.2遺傳算法99
8.4基于D.S.C.法的進(jìn)化算法103
8.4.1改進(jìn)D.S.C.法103
8.4.2遺傳算法104
8.5小結(jié)107
參考文獻(xiàn)109