中公Python高效開發(fā)指南

章網(wǎng)絡(luò)爬蟲概述1
1.1網(wǎng)絡(luò)爬蟲的定義1
1.2網(wǎng)絡(luò)爬蟲的發(fā)展階段1
1.3網(wǎng)絡(luò)爬蟲的應(yīng)用1
1.4網(wǎng)絡(luò)爬蟲的類型2
1.5網(wǎng)絡(luò)爬蟲的原理3
1.6網(wǎng)絡(luò)爬蟲的搜索策略3
1.6.1深度優(yōu)先搜索策略4
1.6.2廣度優(yōu)先搜索策略4
1.7反爬蟲技術(shù)及解決方案5
1.7.1通過User-Agent來反爬蟲5
1.7.2通過IP限制來反爬蟲6
1.7.3通過JavaScript腳本來反爬蟲7
1.7.4通過robots.txt來反爬蟲7
第二章爬蟲開發(fā)基礎(chǔ)8
2.1Python的安裝和運(yùn)行8
2.1.1Python的安裝8
2.1.2編寫個(gè)Python程序12
2.2PyCharm開發(fā)工具的安裝和使用12
2.3HTTP18
2.3.1URI和URL18
2.3.2HTTP和HTTPS18
2.3.3HTTP請求報(bào)文18
2.3.4HTTP請求過程20
2.3.5HTTP請求方法21
2.3.6HTTP響應(yīng)報(bào)文21
2.4HTTP會(huì)話和Cookies23
2.4.1靜態(tài)網(wǎng)頁和動(dòng)態(tài)網(wǎng)頁23
2.4.2HTTP會(huì)話23
2.4.3Cookies24
2.5HTTP代理服務(wù)器24
2.5.1HTTP代理服務(wù)器的基本原理24
2.5.2HTTP代理服務(wù)器的主要功能25
2.6HTML25
2.6.1HTML概述25
2.6.2HTML基礎(chǔ)知識(shí)26
2.6.3HTML常用標(biāo)簽28
2.7HTMLDOM37
2.8JavaScript39
2.8.1JS的使用39
2.8.2JS變量40
2.8.3JS變量的命名規(guī)則40
2.8.4JS變量的數(shù)據(jù)類型40
2.8.5JS對(duì)象41
2.8.6JS函數(shù)41
2.8.7JS運(yùn)算符41
2.8.8JS條件語句42
2.8.9JS循環(huán)語句43
2.8.10break語句和continue語句45
2.9JSON45
2.9.1JSON數(shù)據(jù)結(jié)構(gòu)45
2.9.2JSON數(shù)據(jù)類型46
2.9.3JSON與XML的比較46
2.10AJAX48
2.11XPath48
2.11.1XPath選取節(jié)點(diǎn)48
2.11.2XPath謂語49
2.11.3XPath通配符49
2.11.4XPath多路徑選擇50
2.11.5XPath軸50
2.11.6XPath運(yùn)算符51
2.11.7XPath常用的功能函數(shù)52
第三章使用開發(fā)者工具分析網(wǎng)站53
3.1開發(fā)者工具53
3.2元素（Elements）面板54
3.3網(wǎng)絡(luò)（Network）面板55
3.4Chrome插件59
第四章HTML內(nèi)容爬取與解析62
4.1爬蟲的開發(fā)思路62
4.2Requests模塊概述及其安裝65
4.3Requests基本請求方式67
4.4復(fù)雜的Requests請求方式70
4.5Requests上傳與下載74
4.6lxml模塊的安裝與使用方法76
4.6.1lxml模塊的安裝76
4.6.2lxml模塊的使用77
4.7BeautifulSoup4模塊88
4.7.1BeautifulSoup4模塊的安裝88
4.7.2解析器89
4.7.3按照標(biāo)準(zhǔn)的縮進(jìn)格式輸出HTML89
4.7.4處理HTMLDOM節(jié)點(diǎn)91
4.7.5遍歷Tag的子孫節(jié)點(diǎn)97
4.7.6獲取Tag的文本內(nèi)容101
4.7.7根據(jù)Tags間的關(guān)系獲取節(jié)點(diǎn)105
4.7.8find_all()方法name參數(shù)的使用109
4.7.9find_all()方法其他參數(shù)的使用115
4.7.10搜索HTMLDOM樹的其他方法123
4.7.11采用CSS選擇器查找元素124
4.8PyQuery模塊132
4.8.1PyQuery模塊的安裝132
4.8.2PyQuery模塊語法講解132
4.9TXT文件的讀／寫操作136
4.9.1TXT文件的讀取136
4.9.2TXT文件的寫入138
4.10CSV文件的讀／寫操作139
4.10.1CSV文件概述139
4.10.2CSV文件的讀取140
4.10.3CSV文件的寫入142
第五章正則表達(dá)式144
5.1正則表達(dá)式常用符號(hào)144
5.1.1正則表達(dá)式的定義144
5.1.2普通字符144
5.1.3預(yù)定義字符145
5.1.4量詞字符147
5.1.5邊界匹配字符150
5.1.6分組匹配字符152
5.2re模塊及其功能函數(shù)153
5.2.1search()函數(shù)153
5.2.2sub()函數(shù)155
5.2.3findall()函數(shù)156
5.2.4re模塊修飾符157
5.3綜合案例——爬取某電影網(wǎng)站的榜單157
5.3.1爬蟲思路分析157
5.3.2爬蟲程序及分析158
第六章數(shù)據(jù)接口信息爬取161
6.1數(shù)據(jù)接口概述161
6.2API的使用161
6.2.1API概述161
6.2.2API樣例161
6.3解析XHR接口165
6.3.1JSON解析庫165
6.3.2某招聘網(wǎng)站數(shù)據(jù)接口分析167
6.4綜合案例——爬取某網(wǎng)站新聞中的圖片172
6.4.1圖片爬取方法172
6.4.2爬蟲思路分析173
6.4.3爬蟲程序及分析177
第七章數(shù)據(jù)庫存儲(chǔ)180
7.1MySQL數(shù)據(jù)庫180
7.1.1關(guān)系型數(shù)據(jù)庫概述180
7.1.2MySQL的安裝182
7.1.3SQL概述187
7.1.4MySQL的數(shù)據(jù)類型187
7.1.5數(shù)據(jù)定義語言（DDL）及常用操作189
7.1.6數(shù)據(jù)操縱語言（DML）193
7.1.7數(shù)據(jù)查詢語言（DQL）195
7.1.8pyMySQL模塊的使用203
7.2MongoDB數(shù)據(jù)庫206
7.2.1NoSQL數(shù)據(jù)庫概述206
7.2.2MongoDB的安裝206
7.2.3MongoDB的數(shù)據(jù)類型213
7.2.4MongoDB數(shù)據(jù)庫操作214
7.2.5MongoDB集合操作215
7.2.6MongoDB文檔操作216
7.2.7pymongo模塊的使用222
7.3Redis數(shù)據(jù)庫226
7.3.1內(nèi)存數(shù)據(jù)庫概述226
7.3.2典型Redis數(shù)據(jù)類型的操作226
7.3.3Redis模塊的使用234
7.4綜合案例1——爬取某網(wǎng)站的微客數(shù)據(jù)235
7.4.1爬蟲思路分析235
7.4.2爬蟲程序及分析237
7.5綜合案例2——爬取某網(wǎng)站的房源數(shù)據(jù)241
7.5.1爬蟲思路分析241
7.5.2爬蟲程序及分析244
第八章表單交互與模擬登錄249
8.1表單交互249
8.1.1POST請求249
8.1.2PythonRequests提交表單249
8.2模擬登錄254
8.2.1Cookies概述254
8.2.2提交Cookies模擬登錄254
8.3綜合案例——爬取某招聘網(wǎng)站的招聘信息257
8.3.1爬蟲思路分析257
8.3.2爬蟲程序及分析259
第九章反爬蟲技術(shù)以及應(yīng)對(duì)方法262
9.1常見的反爬蟲技術(shù)262
9.2基于請求頭的反爬蟲技術(shù)以及應(yīng)對(duì)方法262
9.3基于用戶行為的反爬蟲技術(shù)以及應(yīng)對(duì)方法264
9.4基于Cookies的反爬蟲技術(shù)以及應(yīng)對(duì)方法266
9.5基于驗(yàn)證碼的反爬蟲技術(shù)以及應(yīng)對(duì)方法267
第十章Selenium模擬瀏覽器271
10.1Selenium概述271
10.1.1Selenium的介紹和安裝271
10.1.2瀏覽器的選擇和安裝271
10.2Selenium的使用274
10.2.1模擬瀏覽器簡單操作274
10.2.2SeleniumDriver操作276
10.2.3SeleniumWebelement操作277
10.2.4SeleniumActionChains278
10.2.5SeleniumWait279
10.2.6SeleniumExpectedConditions280
10.2.7模擬登錄282
10.2.8破解滑塊驗(yàn)證碼283
10.3綜合案例1——爬取某交友軟件的好友空間信息288
10.3.1爬蟲思路分析288
10.3.2爬蟲程序及分析291
10.4綜合案例2——爬取某電商網(wǎng)站的商品信息292
10.4.1爬蟲思路分析292
10.4.2爬蟲程序及分析294
第十一章Scrapy爬蟲框架300
11.1Scrapy的安裝和使用300
11.1.1Scrapy爬蟲框架的架構(gòu)300
11.1.2安裝Scrapy301
11.1.3創(chuàng)建Scrapy爬蟲項(xiàng)目304
11.1.4Scrapy文件介紹306
11.1.5編寫Scrapy爬蟲程序309
11.1.6運(yùn)行Scrapy爬蟲311
11.1.7ItemPipeline的用法313
11.1.8下載中間件的用法315
11.1.9Scrapy對(duì)接Selenium319
11.2綜合案例1——爬取某房地產(chǎn)網(wǎng)站326
11.2.1爬蟲思路分析326
11.2.2爬蟲程序及分析329
11.3綜合案例2——爬取某書評(píng)網(wǎng)站335
11.3.1爬蟲思路分析335
11.3.2爬蟲程序及分析338
第十二章分布式爬蟲以及爬蟲的部署345
12.1分布式爬蟲原理345
12.1.1分布式爬蟲架構(gòu)345
12.1.2維護(hù)爬取隊(duì)列346
12.1.3去重操作346
12.1.4防止中斷348
12.2基于scrapy-redis的分布式爬蟲348
12.2.1scrapy-redis架構(gòu)349
12.2.2安裝scrapy-redis349
12.2.3scrapy-redis常用配置350
12.2.4scrapy-redis簡單實(shí)例350
12.3Scrapyd部署爬蟲351
12.4Scrapyd-Client的使用353