基于Python的Web大數(shù)據(jù)爬取實戰(zhàn)指南

目錄
第一部分 基礎(chǔ)知識
第1章 概述 3
1.1 Web大數(shù)據(jù)爬取 3
1.2 各章概要 5
1.3 如何閱讀本書 6
第2章 Python基礎(chǔ)知識 8
2.1 Python語言簡介 8
2.2 Python安裝過程 9
2.3 Python基礎(chǔ)知識 14
2.4 條件語句和循環(huán)語句 29
2.5 字符串操作 37
2.6 文件操作 43
2.7 局部變量、全局變量與導(dǎo)入塊變量 48
2.8 多線程編程 52
第3章 HTML基礎(chǔ)知識及DOM樹結(jié)構(gòu) 56
3.1 瀏覽器顯示HTML源代碼 58
3.2 HTML語法規(guī)則 61
3.3 HTML DOM樹型結(jié)構(gòu) 71
3.4 XPath技術(shù) 74
第4章 XML基礎(chǔ)知識 76
4.1 基礎(chǔ)知識 76
4.2 XML文檔示例 78
4.3 XML語法規(guī)則 81
4.4 XML基本用法 84
4.5 Python處理XML數(shù)據(jù) 89
第二部分 基于Python的數(shù)據(jù)爬取
第5章 Python網(wǎng)頁爬蟲的相關(guān)介紹 97
5.1 概述 97
5.2 正則表達式 98
5.3 Selenium 99
5.4 BeautifuISoup 100
5.5 Scrapy 100
5.6 數(shù)據(jù)存儲技術(shù) 104
第6章 基于正則表達式的Web爬蟲 107
6.1 正則表達式 107
6.2 常用的網(wǎng)頁爬取正則表達式 117
6.3 Python爬蟲常用函數(shù) 128
6.4 案例分析1：使用正則表達式獲取新浪博客文章 141
6.5 案例分析2：使用正則表達式爬取百科知識 147
第7章 基于Selenium的Web爬蟲 162
7.1 Selenium安裝過程 163
7.2 Selenium常見元素定位方法和操作 170
7.3 案例分析1：Selenium爬取百科知識 182
7.4 案例分析2：Selenium爬取PubMed生物醫(yī)學(xué)摘要信息 186
7.5 案例分析3：Selenium爬取圖片 193
第8章 基于Selenium的自動登錄爬蟲 201
8.1 Python自動登錄技術(shù) 201
8.2 新浪微博介紹 206
8.3 案例分析1：Selenium自動登錄163郵箱 209
8.4 案例分析2：Selenium自動登錄爬取新浪微博知識 213
第9章 基于BeautifuISoup的Web爬蟲 228
9.1 概述及安裝 228
9.2 BeautifuISoup具體用法 231
第10章 數(shù)據(jù)庫存儲技術(shù) 244
10.1 數(shù)據(jù)庫存儲的基本技術(shù) 244
10.2 MySQL數(shù)據(jù)庫知識 245
10.3 Python數(shù)據(jù)庫知識 253
10.4 案例分析：Selenium爬取數(shù)據(jù)并存儲至數(shù)據(jù)庫中 262