Python大數(shù)據(jù)處理與分析

第 一部分 基礎(chǔ)篇
第 1章　搭建開發(fā)環(huán)境　2
1．1　Python解釋器的安裝　2
1．1．1　在Windows系統(tǒng)下安裝Python解釋器　2
1．1．2　在Linux系統(tǒng)下安裝Python解釋器　6
1．1．3　在macOS系統(tǒng)下安裝Python解釋器　10
1．1．4　運行第 一個hello world程序　12
1．2　Anaconda的安裝及環(huán)境變量配置　12
1．2．1　Anaconda簡介　12
1．2．2　安裝Anaconda　14
1．2．3　配置Anaconda環(huán)境變量　16
1．3　Jupyter Notebook與PyCharm的安裝及工程環(huán)境設(shè)置　17
1．3．1　Jupyter Notebook的簡介與安裝　18
1．3．2　設(shè)置Jupyter Notebook工程環(huán)境　19
1．3．3　PyCharm的簡介與安裝　23
1．3．4　設(shè)置PyCharm工程環(huán)境　25
習(xí)題　28
第 2章　使用NumPy進行數(shù)據(jù)
計算　29
2．1　安裝NumPy　29
2．2　NumPy中的數(shù)組對象　30
2．2．1　數(shù)組對象的創(chuàng)建　31
2．2．2　數(shù)組對象的常用屬性　34
2．2．3　數(shù)組元素的訪問與修改　36
2．2．4　數(shù)組對象的基礎(chǔ)運算　37
2．2．5　數(shù)組對象的常用函數(shù)　38
2．3　使用NumPy進行數(shù)學(xué)運算　42
2．3．1　位運算函數(shù)　42
2．3．2　數(shù)學(xué)函數(shù)　44
2．3．3　算術(shù)函數(shù)　45
2．3．4　統(tǒng)計函數(shù)　47
2．3．5　線性代數(shù)函數(shù)　49
2．4　NumPy使用案例　52
習(xí)題　53
第3章　使用pandas進行數(shù)據(jù)分析　54
3．1　安裝pandas　54
3．2　pandas中的對象　55
3．2．1　Series對象　56
3．2．2　DataFrame對象　57
3．3　pandas的基本操作　58
3．3．1　導(dǎo)入與導(dǎo)出數(shù)據(jù)　59
3．3．2　數(shù)據(jù)的查看與檢查　60
3．3．3　數(shù)據(jù)的增刪查改　62
3．4　pandas的基本運用　64
3．4．1　數(shù)據(jù)統(tǒng)計　64
3．4．2　算術(shù)運算與數(shù)據(jù)對齊　66
3．5　pandas使用案例　68
習(xí)題　70
第4章　Matplotlib數(shù)據(jù)
可視化　71
4．1　安裝Matplotlib與繪圖基本步驟　71
4．1．1　安裝Matplotlib　71
4．1．2　Matplotlib繪圖基本步驟　72
4．2　經(jīng)典圖形繪制　74
4．2．1　折線圖　74
4．2．2　柱狀圖　77
4．2．3　直方圖　80
4．2．4　散點圖　82
4．2．5　等值線圖及地理信息可視化　86
4．3　圖表調(diào)整及美化　92
4．3．1　圖表主要組成元素調(diào)整　92
4．3．2　顏色參數(shù)及映射表　97
4．4　Matplotlib使用案例　98
習(xí)題　102
第5章　數(shù)據(jù)預(yù)處理　103
5．1　數(shù)據(jù)清洗與準(zhǔn)備　103
5．1．1　數(shù)據(jù)清洗準(zhǔn)備　103
5．1．2　數(shù)據(jù)清洗　104
5．2　正則表達式　108
5．2．1　正則表達式的特點與組成　108
5．2．2　字符串方法　109
5．2．3　re模塊　113
5．3　數(shù)據(jù)規(guī)整　117
5．3．1　聚合、分組及數(shù)據(jù)透視　117
5．3．2　特征選擇（降維）　120
5．3．3　數(shù)據(jù)變換與數(shù)據(jù)規(guī)約　122
5．3．4　稀疏表示和字典學(xué)習(xí)　124
習(xí)題　126
第二部分　實例篇
第6章　基于大數(shù)據(jù)的房產(chǎn)估價　128
6．1　情景問題提出及分析　128
6．2　多元回歸模型介紹　128
6．3　方法與過程　129
6．3．1　讀入數(shù)據(jù)并進行數(shù)據(jù)預(yù)處理　130
6．3．2　將預(yù)處理好的數(shù)據(jù)可視化　141
6．3．3　使用多元回歸模型進行房產(chǎn)估價　146
6．3．4　模型效果評價　148
上機實驗　151
第7章　某移動公司客戶價值分析　152
7．1　情景問題提出及分析　152
7．2　K-Means聚類算法簡介　153
7．3　客戶價值分析過程　155
7．3．1　讀入數(shù)據(jù)并進行數(shù)據(jù)預(yù)處理　156
7．3．2　數(shù)據(jù)標(biāo)準(zhǔn)化　165
7．3．3　使用K-Means聚類算法對客戶進行分析　167
7．3．4　數(shù)據(jù)可視化及數(shù)據(jù)分析　172
上機實驗　178
第8章　基于歷史數(shù)據(jù)的氣溫及降水預(yù)測　179
8．1　情景問題提出及分析　179
8．2　常見的時間序列模型簡介　180
8．2．1　AR模型　180
8．2．2　MA模型　181
8．2．3　ARMA模型　181
8．2．4　ARIMA模型　182
8．2．5　模型求解步驟　183
8．3　平穩(wěn)序列建模示例（降水預(yù)測）　186
8．3．1　讀入數(shù)據(jù)并進行預(yù)處理　186
8．3．2　時間序列的平穩(wěn)性分析　190
8．3．3　模型選擇及定階　191
8．3．4　建立時序模型并預(yù)測　193
8．4　非平穩(wěn)序列建模示例（氣溫預(yù)測）　195
8．4．1　讀入數(shù)據(jù)并進行預(yù)處理　195
8．4．2　時間序列的平穩(wěn)性分析　197
8．4．3　模型選擇及定階　198
8．4．4　建立時序模型并預(yù)測　200
上機實驗　202
第9章　智能電網(wǎng)的電能預(yù)估及價值分析　203
9．1　情景問題提出及分析　203
9．2　決策樹算法簡介　203
9．2．1　ID3算法　205
9．2．2　C4．5算法　207
9．2．3　CART算法　208
9．2．4　預(yù)剪枝與后剪枝　208
9．2．5　連續(xù)值處理　209
9．3　方法與過程　211
9．3．1　讀入數(shù)據(jù)并預(yù)處理　211
9．3．2　模型構(gòu)建　218
9．3．3　模型效果評價　221
上機實驗　221
參考文獻　223