數(shù)據(jù)采集與預(yù)處理

第1章 概述
1.1 大數(shù)據(jù)采集
1.1.1 大數(shù)據(jù)來(lái)源
1.1.2 大數(shù)據(jù)采集方式
1.1.3 數(shù)據(jù)預(yù)處理
1.2 網(wǎng)絡(luò)爬蟲(chóng)原理和分類
1.2.1 爬蟲(chóng)原理
1.2.2 爬蟲(chóng)分類
1.2.3 常用爬蟲(chóng)工具
1.3 網(wǎng)絡(luò)爬蟲(chóng)法律規(guī)范
1.3.1 數(shù)據(jù)隱私保護(hù)
1.3.2 Robots協(xié)議
1.3.3 法律法規(guī)
本章小結(jié)
本章習(xí)題
第2章 Python基礎(chǔ)
2，1 Python環(huán)境搭建
2.1.1 Python解釋器
2.1.2 PyCharm的安裝
2.2 Python基礎(chǔ)
2.2.1 Python語(yǔ)法基礎(chǔ)
2.2.2 數(shù)據(jù)類型
2.2.3 程序結(jié)構(gòu)
2.2.4 函數(shù)
2.2.5 面向?qū)ο?br /> 本章小結(jié)
本章習(xí)題
第3章 靜態(tài)網(wǎng)頁(yè)爬取
3.1 HTTP協(xié)議概述
3.1.1 請(qǐng)求響應(yīng)模型
3.1.2 請(qǐng)求報(bào)文
3.1.3 響應(yīng)報(bào)文
3.2 使用Requests庫(kù)提取網(wǎng)頁(yè)數(shù)據(jù)
3.2.1 Requests庫(kù)的安裝
3.2.2 Requests庫(kù)的請(qǐng)求方法
3.2.3 使用Requests庫(kù)發(fā)送GET請(qǐng)求
3.2.4 使用Requests庫(kù)發(fā)送POST請(qǐng)求
3.2.5 Requests庫(kù)的響應(yīng)對(duì)象
3.2.6 HTTP狀態(tài)碼
3.2.7 定制請(qǐng)求頭
3.2.8 Requests庫(kù)發(fā)送GET請(qǐng)求的通用代碼
3.3 使用urllib庫(kù)提取網(wǎng)頁(yè)數(shù)據(jù)
3.3.1 使用urllib庫(kù)發(fā)送GET請(qǐng)求
3.3.2 使用urllib庫(kù)發(fā)送POST請(qǐng)求
3.3.3 urllib庫(kù)的用戶代理
3.4 案例1 QQ表情包圖片爬取
3.4.1 任務(wù)描述
3.4.2 任務(wù)分析
3.4.3 任務(wù)實(shí)現(xiàn)
3.5 案例 2手機(jī)號(hào)碼歸屬地查詢
3.5.1 任務(wù)描述
3.5.2 任務(wù)分析
3.5.3 任務(wù)實(shí)現(xiàn)
本章小結(jié)
本章習(xí)題
第4章 網(wǎng)頁(yè)解析
4.1 使用BeautifulSoup解析網(wǎng)頁(yè)
4.1.1 BeautifulSoup庫(kù)的安裝
4.1.2 BeautifulSoup解析器
……
第5章 數(shù)據(jù)存儲(chǔ)
第6章 動(dòng)態(tài)網(wǎng)頁(yè)爬取
第7章 Scrpay框架初探
第8章 Scrpay框架深入
第9章 數(shù)據(jù)預(yù)處理
第10章 招聘網(wǎng)站數(shù)據(jù)分析
參考文獻(xiàn)