大數(shù)據(jù)分析：Python爬蟲、數(shù)據(jù)清洗和數(shù)據(jù)可視化

目錄

配套資源下載



目錄
第1章大數(shù)據(jù)

1.1大數(shù)據(jù)概述

1.1.1大數(shù)據(jù)介紹

1.1.2大數(shù)據(jù)的特征

1.1.3大數(shù)據(jù)技術應用與基礎

1.2大數(shù)據(jù)的意義

1.2.1大數(shù)據(jù)的國家戰(zhàn)略意義

1.2.2大數(shù)據(jù)的企業(yè)意義

1.2.3我國大數(shù)據(jù)市場的預測

1.3大數(shù)據(jù)的產(chǎn)業(yè)鏈分析

1.3.1技術分析

1.3.2運營分析

1.4本章小結

1.5實訓

習題

第2章爬蟲與大數(shù)據(jù)

2.1爬蟲概述

2.1.1爬蟲介紹

2.1.2爬蟲的地位與作用

2.2Python介紹

2.2.1Python開發(fā)環(huán)境搭建

2.2.2編寫Python程序

2.2.3Python數(shù)據(jù)類型

2.3爬蟲相關知識

2.3.1了解網(wǎng)頁結構

2.3.2Python與爬蟲

2.3.3基礎爬蟲框架

2.4利用爬蟲抓取網(wǎng)頁內(nèi)容

2.4.1觀察與分析頁面

2.4.2抓取過程分析

2.4.3獲取頁面內(nèi)容

2.5本章小結

2.6實訓

習題

第3章Scrapy爬蟲

3.1Scrapy爬蟲概述

3.2Scrapy原理

3.2.1Scrapy框架的架構

3.2.2Request對象和Response對象

3.2.3Select對象

3.2.4Spider開發(fā)流程

3.3Scrapy的開發(fā)與實現(xiàn)

3.3.1Scrapy爬蟲開發(fā)流程

3.3.2創(chuàng)建Scrapy項目并查看結構

3.3.3編寫代碼并運行爬蟲

3.4本章小結

3.5實訓

習題

第4章數(shù)據(jù)庫連接與查詢

4.1數(shù)據(jù)庫

4.1.1數(shù)據(jù)庫概述

4.1.2關系數(shù)據(jù)庫設計

4.2MySQL數(shù)據(jù)庫

4.2.1MySQL數(shù)據(jù)庫概述

4.2.2MySQL數(shù)據(jù)庫下載、安裝與運行

4.2.3MySQL數(shù)據(jù)庫命令行入門

4.3使用Python操作MySQL數(shù)據(jù)庫

4.3.1pymysql安裝與使用

4.3.2Python連接MySQL數(shù)據(jù)庫

4.4本章小結

4.5實訓

習題

第5章數(shù)據(jù)可視化基礎與應用

5.1數(shù)據(jù)可視化

5.1.1數(shù)據(jù)可視化概述

5.1.2數(shù)據(jù)可視化工具

5.1.3數(shù)據(jù)可視化圖表

5.2matplotlib可視化基礎

5.2.1numpy庫

5.2.2matplotlib認識與安裝


5.2.3matplotlib測試

5.2.4matplotlib.pyplot庫

5.3matplotlib可視化繪圖

5.3.1繪制線性圖形

5.3.2繪制柱狀圖形

5.3.3繪制直方圖

5.3.4繪制散點圖

5.3.5繪制極坐標圖

5.3.6繪制餅圖

5.4pyecharts可視化應用

5.5本章小結

5.6實訓

習題

第6章大數(shù)據(jù)存儲與清洗

6.1大數(shù)據(jù)存儲

6.2數(shù)據(jù)清洗

6.2.1數(shù)據(jù)清洗概述

6.2.2數(shù)據(jù)清洗的原理

6.2.3數(shù)據(jù)清洗的流程

6.2.4數(shù)據(jù)清洗的工具

6.3數(shù)據(jù)標準化

6.3.1數(shù)據(jù)標準化的概念

6.3.2數(shù)據(jù)標準化的方法

6.3.3數(shù)據(jù)標準化的實例

6.4本章小結

6.5實訓

習題

第7章數(shù)據(jù)格式與編碼技術

7.1文件格式

7.2數(shù)據(jù)類型與編碼

7.2.1數(shù)據(jù)類型概述

7.2.2字符編碼

7.2.3數(shù)據(jù)轉換

7.3Kettle數(shù)據(jù)清洗與轉換工具的使用

7.3.1Kettle概述

7.3.2Kettle的安裝與使用

7.4CSV格式的數(shù)據(jù)轉換

7.4.1CSV格式概述

7.4.2CSV與JSON文件的轉換

7.5本章小結

7.6實訓