聯(lián)邦學習：原理與算法

第 1 章緒論 1
1．1人工智能的發(fā)展 1
1．1． 1人工智能的定義 1
1． 1． 2人工智能的發(fā)展歷史及現(xiàn)狀 2
1． 1． 3機器學習與數(shù)據(jù) 3
1．2隱私保護浮出水面 4
1．2． 1隱私保護問題 5
1． 2． 2隱私保護的攻擊 5
1． 2． 3常見的隱私保護技術 7
1．3聯(lián)邦學習的誕生 8
1．3． 1聯(lián)邦學習的提出 8
1． 3． 2聯(lián)邦學習的范式 9
1．3． 3聯(lián)邦學習的應用 12
1． 4本章小結 13
第 2 章聯(lián)邦學習基礎 15
2．1聯(lián)邦學習的基本概念 15
2． 2聯(lián)邦學習的發(fā)展歷程 17
2． 3聯(lián)邦學習的基本類別與流程 18
2． 3． 1橫向聯(lián)邦學習 18
2． 3． 2縱向聯(lián)邦學習 19
2． 3． 3聯(lián)邦遷移學習 19
2． 3． 4聯(lián)邦強化學習 20
2．4聯(lián)邦學習的應用場景 21
2． 5本章小結 21
第 3 章中央服務器優(yōu)化算法 23
3．1聯(lián)邦隨機梯度下降算法 23
3． 1． 1算法框架及參數(shù) 23
3． 1． 2目標函數(shù) 24
3． 1． 3算法流程 25
3． 2聯(lián)邦平均算法 25
3． 2． 1算法框架及參數(shù) 26
3． 2． 2目標函數(shù) 27
3． 2． 3算法流程 27
3． 3差分隱私聯(lián)邦隨機梯度下降算法 28
3． 3． 1算法框架及參數(shù) 28
3． 3． 2相關函數(shù)說明 29
3． 3． 3算法流程 30
3． 4差分隱私聯(lián)邦平均算法 31
3． 4． 1算法框架及參數(shù) 31
3． 4． 2算法流程 32
3． 5基于損失的自適應提升聯(lián)邦學習算法 33
3． 5． 1算法框架及參數(shù) 34
3． 5． 2算法流程 35
3． 6自平衡聯(lián)邦學習算法 36
3． 6． 1算法框架及參數(shù) 36
3． 6． 2算法流程 37
3． 7聯(lián)邦近端算法 39
3． 7． 1算法框架及參數(shù) 40
3． 7． 2模塊介紹 41
3． 7． 3算法流程 42
3． 8不可知聯(lián)邦學習算法 43
3． 9 基于概率的聯(lián)邦網(wǎng)絡匹配算法Ⅰ： 單隱層神經(jīng)網(wǎng)絡匹配算法 50
3． 9． 1算法框架及參數(shù) 50
3． 9． 2模塊介紹 53
3． 9． 3算法流程 56
3． 10基于概率的聯(lián)邦網(wǎng)絡匹配算法Ⅱ： 多隱層神經(jīng)網(wǎng)絡匹配算法 57
3． 10． 1算法框架及參數(shù) 57
3． 10． 2模塊介紹 59
3． 10． 3算法流程 63
3．11聯(lián)邦匹配平均算法 64
3． 11． 1算法框架及參數(shù) 64
3． 11． 2目標函數(shù) 65
3． 11． 3算法流程 66
3． 12本章小結 67
第 4 章聯(lián)邦回歸算法 69
4．1聯(lián)邦機器學習算法的定義 69
4． 1． 1水平型分布數(shù)據(jù) 70
4．1． 2垂直型分布數(shù)據(jù) 70
4． 2線性回歸 70
4． 2． 1橫向線性回歸 71
4． 2． 2縱向線性回歸 74
4． 3邏輯回歸 80
4． 3． 1橫向邏輯回歸 81
4． 3． 2縱向邏輯回歸 88
4． 4本章小結 96
第 5 章聯(lián)邦分類算法 97
5．1樸素貝葉斯分類法 97
5． 1． 1貝葉斯定理 97
5． 1． 2樸素貝葉斯分類的思想和工作過程 97
5． 1． 3橫向樸素貝葉斯分類 98
5．1． 4縱向樸素貝葉斯分類 102
5． 2支持向量機 107
5． 2． 1橫向支持向量機 109
5． 2． 2縱向支持向量機 116
5． 3本章小結 124
第 6 章聯(lián)邦樹模型 125
6． 1決策樹 125
6． 1． 1橫向決策樹 126
6． 1． 2縱向決策樹 131
6．2XGBoost 138
6． 2． 1參數(shù)及含義 139
6． 2． 2加法同態(tài) 140
6．2． 3SecureBoost 算法的流程 140
6． 3本章小結 143
第 7 章聯(lián)邦推薦算法 145
7． 1K 均值算法 145
7．1． 1橫向K 均值聚類算法 146
7． 1． 2縱向K 均值聚類算法 149
7． 1． 3任意數(shù)據(jù) K 均值聚類算法 158
7． 1． 4安全兩方 K 均值聚類算法 162
7． 2因子分解機 166
7．3基于近鄰的協(xié)同過濾算法 171
7． 3． 1基于近鄰的傳統(tǒng)協(xié)同過濾算法 171
7． 3． 2基于用戶的聯(lián)邦協(xié)同過濾算法 173
7． 4基于矩陣的協(xié)同過濾算法 178
7． 4． 1基于矩陣的傳統(tǒng)協(xié)同過濾算法 178
7． 4． 2基于矩陣的聯(lián)邦協(xié)同過濾算法 178
7． 5矩陣分解算法 186
7． 5． 1基于 SGD 的聯(lián)邦矩陣分解算法 186
7． 5． 2基于多視圖的聯(lián)邦矩陣分解算法 190
7． 5． 3興趣點推薦算法 195
7． 5． 4基于差分隱私的聯(lián)邦矩陣分解算法 197
7． 5． 5基于混淆電路的聯(lián)邦矩陣分解算法 200
7． 5． 6基于相似度的聯(lián)邦矩陣分解算法 205
7． 5． 7基于因子分析的聯(lián)邦矩陣分解算法 209
7．5． 8基于深度學習的聯(lián)邦矩陣分解算法 211
7． 6本章小結 213
第 8 章聯(lián)邦學習系統(tǒng)的隱私與安全 215
8．1問題描述與安全模型 215
8． 2聯(lián)邦學習隱私保護技術 216
8． 2． 1秘密共享 216
8． 2． 2不經(jīng)意傳輸 218
8． 2． 3混淆電路 220
8． 2． 4同態(tài)加密 222
8． 2． 5差分隱私 224
8．3聯(lián)邦學習安全防護技術 226
8． 3． 1密碼算法 226
8． 3． 2身份認證 229
8． 3． 3通信安全 231
8． 3． 4存儲安全 233
8． 3． 5可信計算 235
8． 4本章小結 237
第 9 章聯(lián)邦學習的服務質量 239
9．1聯(lián)邦學習服務質量的定義 239
9． 1． 1聯(lián)邦學習服務質量的由來 239
9． 1． 2什么是聯(lián)邦學習服務質量評估 241
9． 2聯(lián)邦學習服務質量的評估維度 242
9． 2． 1模型性能 242
9． 2． 2數(shù)據(jù)傳輸效率 243
9． 2． 3網(wǎng)絡性能 243
9． 2． 4計算資源
9． 2． 5聯(lián)邦建模的魯棒性
9． 3聯(lián)邦學習服務質量的理論體系
9． 3． 1模型性能的評價指標
9． 3． 2聯(lián)邦學習的通信指標
9． 3． 3資源調度代價
9． 3． 4聯(lián)邦建模的魯棒性
9． 3． 5隱私保護技術的選取
9． 3． 6權值更新方法
9． 4提升聯(lián)邦學習服務質量的方法
9． 4． 1聯(lián)邦學習的算法優(yōu)化
9． 4． 2聯(lián)邦學習的通信優(yōu)化
9． 4． 3聯(lián)邦學習的末位淘汰
9． 4． 4增強聯(lián)邦學習系統(tǒng)的魯棒性
9．5本章小結
第 10 章聯(lián)邦學習的研究趨勢
10．1聯(lián)邦學習的優(yōu)化研究
10． 2聯(lián)邦學習的安全和隱私研究
10． 3聯(lián)邦學習的應用領域研究
10． 4本章小結
附錄
附錄 ACholesky 分解
附錄 BLDLT 分解
附錄 C共軛梯度法
參考文獻