工業(yè)大數(shù)據(jù)分析算法實(shí)戰(zhàn)

目錄
叢書序一
叢書序二
前言
第1章工業(yè)大數(shù)據(jù)分析概覽
1.1工業(yè)大數(shù)據(jù)分析的范疇與特點(diǎn)
1.1.1數(shù)據(jù)分析的范疇
1.1.2典型分析主題
1.1.3工業(yè)數(shù)據(jù)分析的特點(diǎn)
1.1.4數(shù)據(jù)分析的典型手段
1.2數(shù)據(jù)挖掘的過程方法
1.2.1CRISP-DM簡介
1.2.2分析課題的執(zhí)行路徑
1.3數(shù)據(jù)分析工具軟件
1.3.1腳本語言軟件
1.3.2圖形化桌面軟件
1.3.3云端分析軟件
1.4工業(yè)大數(shù)據(jù)分析師的算法修養(yǎng)
1.4.1分析算法理解的維度與路徑
1.4.2必讀圖書
1.4.3分析算法背后的樸素思想
1.4.4工程化思維
參考文獻(xiàn)
第2章數(shù)據(jù)預(yù)處理
2.1數(shù)據(jù)操作基礎(chǔ)
2.1.1數(shù)據(jù)框的基本操作
2.1.2數(shù)據(jù)可視化
2.2數(shù)據(jù)分析的數(shù)據(jù)操作技巧
2.2.1cumsum等primitive函數(shù)的利用：避免循環(huán)
2.2.2帶時(shí)間戳的數(shù)據(jù)框合并
2.2.3時(shí)序數(shù)據(jù)可視化：多個(gè)子圖共用一個(gè)x軸
2.2.4時(shí)序數(shù)據(jù)可視化：NA用來間隔顯示時(shí)序
2.2.5參數(shù)區(qū)間的對比顯示（在概率密度圖上）
2.2.6獲取R文件的所在路徑
2.2.7分段線性回歸如何通過lm（）實(shí)現(xiàn)
2.3探索型數(shù)據(jù)分析（EDA)
2.3.1引言
2.3.2R語言EDA包
2.3.3其他工具包
2.3.4小結(jié)
2.4數(shù)據(jù)質(zhì)量問題
2.4.1數(shù)據(jù)的業(yè)務(wù)化
2.4.2業(yè)務(wù)的數(shù)據(jù)化
2.4.3機(jī)理演繹法
2.4.4細(xì)致求實(shí)的基本素養(yǎng)
2.4.5小結(jié)
2.5特征提取
2.5.1基于數(shù)據(jù)類型的特征提取
2.5.2基于關(guān)聯(lián)關(guān)系的特征自動生成
2.5.3基于語法樹的變量間組合特征生成
2.6特征選擇
2.6.1特征選擇的框架
2.6.2搜索策略
2.6.3子集評價(jià)
2.6.4小結(jié)
參考文獻(xiàn)
第3章機(jī)器學(xué)習(xí)算法
3.1統(tǒng)計(jì)分析
3.1.1概率分布
3.1.2參數(shù)估計(jì)
3.1.3假設(shè)檢驗(yàn)
3.2統(tǒng)計(jì)分布擬合
3.2.1引言
3.2.2基于核函數(shù)的非參數(shù)方法
3.2.3單概率分布的參數(shù)化擬合
3.2.4混合概率分布估計(jì)
3.2.5小結(jié)
3.3線性回歸模型
3.3.1引言
3.3.2基礎(chǔ)線性回歸模型——OLS模型
3.3.3OLS模型檢驗(yàn)
3.3.4魯棒線性回歸
3.3.5結(jié)構(gòu)復(fù)雜度懲罰（正則化）
3.3.6擴(kuò)展
3.4多元自適應(yīng)回歸樣條（MARS）
3.4.1引言
3.4.2前向計(jì)算過程
3.4.3后剪枝過程
3.4.4變量重要性評價(jià)
3.4.5MARS與其他算法的關(guān)系
3.5神經(jīng)網(wǎng)絡(luò)
3.5.1ANN逼近能力的直觀理解
3.5.2極限學(xué)習(xí)機(jī)
3.6決策樹
3.6.1決策樹的概念
3.6.2決策樹構(gòu)建過程
3.6.3常用決策樹算法
3.7支持向量機(jī)（SVM）
3.7.1引言
3.7.2epsilon-SVR算法
3.7.3nu-SVR算法
3.7.4不同SVM算法包的差異
3.7.5擴(kuò)展
3.8隱馬爾可夫模型
3.8.1引言
3.8.2工作原理
3.8.3示例
3.8.4討論
3.9概率圖模型與貝葉斯方法
3.9.1引言
3.9.2樸素貝葉斯
3.9.3貝葉斯網(wǎng)絡(luò)
3.9.4一般圖模型
3.9.5討論與擴(kuò)展閱讀
3.10集成學(xué)習(xí)
3.10.1引言
3.10.2Bagging方法
3.10.3Boosting方法
3.10.4Stacking方法
3.11模型評價(jià)
3.11.1引言
3.11.2評價(jià)指標(biāo)
3.11.3評價(jià)方法
3.11.4特征重要度
3.12聚類
3.12.1引言
3.12.2基于距離的聚類:K-means、PAM
3.12.3基于層次的聚類：Hclust
3.12.4基于密度的聚類：DBSCAN
3.12.5基于分布的聚類：GMM
3.12.6聚類結(jié)果的評價(jià)
3.13關(guān)聯(lián)規(guī)則
3.13.1引言
3.13.2關(guān)聯(lián)規(guī)則概念與度量指標(biāo)
3.13.3關(guān)聯(lián)規(guī)則實(shí)現(xiàn)過程
3.13.4關(guān)聯(lián)規(guī)則算法
3.13.5關(guān)聯(lián)規(guī)則可視化
3.13.6關(guān)聯(lián)規(guī)則評價(jià)
3.14深度學(xué)習(xí)
3.14.1引言
3.14.2深度學(xué)習(xí)算法分類
3.14.3深度學(xué)習(xí)框架
3.14.4常見疑惑
3.14.5深度學(xué)習(xí)算法的加速
3.15機(jī)器學(xué)習(xí)算法的其他視角
3.15.1計(jì)算負(fù)載模式
3.15.2并行化計(jì)算
3.15.3新計(jì)算范式
參考文獻(xiàn)
第4章時(shí)序數(shù)據(jù)挖掘算法
4.1時(shí)序算法簡介
4.2信號處理算法
4.2.1傅里葉變換的直觀理解
4.2.2時(shí)頻分析
4.2.3時(shí)序變換
4.2.4壓縮感知
4.3時(shí)序分解
4.3.1STL
4.3.2奇異譜分析
4.3.3EMD及擴(kuò)展方法
4.4時(shí)序分割
4.4.1Changepoint
4.4.2TreeSplit
4.4.3Autoplait
4.4.4應(yīng)用示例
4.5時(shí)序再表征
4.6序列模式挖掘
4.6.1數(shù)值型頻繁模式
4.6.2符號型頻繁模式
4.7時(shí)序異常檢測
4.7.1基于度量的方法
4.7.2基于模型重構(gòu)的方法
4.7.3基于頻繁模式挖掘的方法
4.8時(shí)序聚類
4.8.1DTW距離
4.8.2SAX距離
4.9時(shí)序分類
4.9.1經(jīng)典分析算法
4.9.2深度學(xué)習(xí)的方法
4.10時(shí)序預(yù)測
4.10.1基于時(shí)序分解的預(yù)測算法
4.10.2基于回歸建模的預(yù)測算法
參考文獻(xiàn)
第5章其他算法
5.1優(yōu)化算法
5.1.1模型分類
5.1.2經(jīng)典組合優(yōu)化模型
5.1.3典型工具
5.2規(guī)則推理算法
5.3系統(tǒng)辨識算法
5.3.1算法分類
5.3.2典型工具
5.4特定數(shù)據(jù)類型的算法
5.4.1文本數(shù)據(jù)
5.4.2圖像數(shù)據(jù)
5.4.3時(shí)空數(shù)據(jù)
參考文獻(xiàn)
第6章工業(yè)分析中的典型處理方法
6.1工業(yè)分析中的數(shù)據(jù)預(yù)處理
6.1.1工況劃分
6.1.2數(shù)據(jù)缺失
6.1.3時(shí)間數(shù)據(jù)不連續(xù)
6.1.4強(qiáng)噪聲
6.1.5大慣性系統(tǒng)
6.1.6趨勢項(xiàng)的消除
6.2通用時(shí)序特征
6.3典型征兆特征
6.3.1毛刺檢測特征
6.3.2單調(diào)趨勢模式
6.3.3平穩(wěn)過程的漂移檢測
6.3.4多點(diǎn)位不一致
6.3.5超界
6.3.6變點(diǎn)檢測
6.3.7一維曲線平滑與分區(qū)
6.3.8二維形狀分析
6.3.9持續(xù)某種狀態(tài)
6.4工業(yè)時(shí)序分析問題
6.4.1工業(yè)時(shí)序數(shù)據(jù)的特點(diǎn)
6.4.2短時(shí)序分類問題
6.4.3長時(shí)序分類問題
6.4.4不同類型問題的轉(zhuǎn)換
參考文獻(xiàn)
第7章生產(chǎn)質(zhì)量數(shù)據(jù)分析算法
7.1概述
7.2基礎(chǔ)算法
7.2.1物料跟蹤模型
7.2.2過程穩(wěn)定性監(jiān)控
7.3時(shí)空模式分析
7.4連續(xù)流程生產(chǎn)
7.4.1應(yīng)用示例
7.4.2工況劃分
7.4.3操作參數(shù)優(yōu)化
7.4.4其他分析
7.5批次流程生產(chǎn)
7.5.1應(yīng)用示例
7.5.2理想工藝過程擬合
7.5.3動態(tài)控制優(yōu)化
7.6離散生產(chǎn)
7.6.1應(yīng)用示例
7.6.2佳工藝路徑挖掘
7.6.3異常排查
7.6.4操作參數(shù)優(yōu)化
7.7總結(jié)
參考文獻(xiàn)
第8章生產(chǎn)效率優(yōu)化
8.1決策優(yōu)化問題的建模思路
8.2線性規(guī)劃的建模技巧
8.2.1絕對值
8.2.2Min-Max問題
8.2.3分式目標(biāo)函數(shù)
8.2.4范圍約束
8.3整數(shù)規(guī)劃的建模技巧
8.3.1決策變量值域不連續(xù)
8.3.2目標(biāo)函數(shù)不連續(xù)
8.3.3或關(guān)系約束
8.3.4條件型約束
8.3.5邏輯表達(dá)式
8.3.6消除變量相乘
8.3.7大M法
8.4應(yīng)用示例：電梯養(yǎng)護(hù)服務(wù)優(yōu)化
8.4.1業(yè)務(wù)問題描述
8.4.2問題一：路線優(yōu)化
8.4.3問題二：排班計(jì)劃
8.4.4思考與小結(jié)
8.5經(jīng)營預(yù)測類問題
8.5.1預(yù)測量的要素分解方法
8.5.2例外場景的處理
8.5.3宏觀環(huán)境變化的處理方法
參考文獻(xiàn)
第9章行業(yè)知識沉淀方法
9.1討論范疇
9.1.1知識類型
9.1.2技術(shù)方法
9.1.3業(yè)務(wù)領(lǐng)域
9.1.4方法論的作用
9.1.5現(xiàn)有的知識沉淀方法論
9.2知識沉淀方法的維度模型
9.3模型要素維度
9.3.1共性要素
9.3.2傳感器異常報(bào)警
9.3.3異常預(yù)警：“特征量-征兆量-研判規(guī)則”的范式
9.3.4健康評估：“劣化度-健康度-綜合評價(jià)”的范式
9.3.5故障類型研判：“特征量-證據(jù)/現(xiàn)象-推理邏輯”的范式
9.3.6故障處置效果監(jiān)控：“癥狀-異常類型/嚴(yán)重等級-處置措施-狀態(tài)”的范式
9.3.7故障預(yù)測：4種思路
9.3.8性能優(yōu)化：無固定范式
9.4設(shè)備對象維度
9.5建模方法維度
9.5.1專家規(guī)則驅(qū)動的方法:AI-FIT-PM過程模型
9.5.2少量樣本驅(qū)動的方法
9.5.3數(shù)據(jù)驅(qū)動的方法
9.5.4不同方法間的轉(zhuǎn)化
9.6軟件維度
9.6.1領(lǐng)域建模
9.6.2模型研發(fā)環(huán)境
9.6.3模型部署運(yùn)行環(huán)境
9.7應(yīng)用示例1：磨煤機(jī)堵磨預(yù)警
9.8應(yīng)用示例2：磨煤機(jī)暗斷煤檢測
9.9應(yīng)用示例3：發(fā)電機(jī)線棒高溫預(yù)警
9.9.1案例背景
9.9.2系統(tǒng)動力學(xué)模型
9.9.3異常預(yù)警規(guī)則模型
9.9.4故障排查邏輯
9.10討論與總結(jié)
參考文獻(xiàn)
第10章數(shù)據(jù)分析軟件工程
10.1數(shù)據(jù)分析項(xiàng)目失敗的原因
10.2傳統(tǒng)的數(shù)據(jù)分析模式
10.3生產(chǎn)環(huán)境下的機(jī)器學(xué)習(xí)模型
10.3.1應(yīng)用范式
10.3.2模型格式
10.4MLOps
10.4.1MLOps的內(nèi)容
10.4.2MLOps與其他Ops的關(guān)系
10.4.3MLOps的支撐軟件
10.4.4工業(yè)數(shù)據(jù)分析MLOps的特點(diǎn)
10.4.5MLOps的適用范圍
10.5分析應(yīng)用組件
10.5.1分析服務(wù)引擎
10.5.2Web應(yīng)用引擎
10.6分析報(bào)告工具
10.6.1交互式報(bào)告工具
10.6.2基于Markdown的報(bào)告工具
10.6.3基于Office API的報(bào)告工具
10.7計(jì)算任務(wù)管理
10.7.1任務(wù)管理
10.7.2計(jì)算并行化
10.8總結(jié)
參考文獻(xiàn)