中公Python高效開發(fā)指南

章網絡爬蟲概述1
1.1網絡爬蟲的定義1
1.2網絡爬蟲的發(fā)展階段1
1.3網絡爬蟲的應用1
1.4網絡爬蟲的類型2
1.5網絡爬蟲的原理3
1.6網絡爬蟲的搜索策略3
1.6.1深度優(yōu)先搜索策略4
1.6.2廣度優(yōu)先搜索策略4
1.7反爬蟲技術及解決方案5
1.7.1通過User-Agent來反爬蟲5
1.7.2通過IP限制來反爬蟲6
1.7.3通過JavaScript腳本來反爬蟲7
1.7.4通過robots.txt來反爬蟲7
第二章爬蟲開發(fā)基礎8
2.1Python的安裝和運行8
2.1.1Python的安裝8
2.1.2編寫個Python程序12
2.2PyCharm開發(fā)工具的安裝和使用12
2.3HTTP18
2.3.1URI和URL18
2.3.2HTTP和HTTPS18
2.3.3HTTP請求報文18
2.3.4HTTP請求過程20
2.3.5HTTP請求方法21
2.3.6HTTP響應報文21
2.4HTTP會話和Cookies23
2.4.1靜態(tài)網頁和動態(tài)網頁23
2.4.2HTTP會話23
2.4.3Cookies24
2.5HTTP代理服務器24
2.5.1HTTP代理服務器的基本原理24
2.5.2HTTP代理服務器的主要功能25
2.6HTML25
2.6.1HTML概述25
2.6.2HTML基礎知識26
2.6.3HTML常用標簽28
2.7HTMLDOM37
2.8JavaScript39
2.8.1JS的使用39
2.8.2JS變量40
2.8.3JS變量的命名規(guī)則40
2.8.4JS變量的數據類型40
2.8.5JS對象41
2.8.6JS函數41
2.8.7JS運算符41
2.8.8JS條件語句42
2.8.9JS循環(huán)語句43
2.8.10break語句和continue語句45
2.9JSON45
2.9.1JSON數據結構45
2.9.2JSON數據類型46
2.9.3JSON與XML的比較46
2.10AJAX48
2.11XPath48
2.11.1XPath選取節(jié)點48
2.11.2XPath謂語49
2.11.3XPath通配符49
2.11.4XPath多路徑選擇50
2.11.5XPath軸50
2.11.6XPath運算符51
2.11.7XPath常用的功能函數52
第三章使用開發(fā)者工具分析網站53
3.1開發(fā)者工具53
3.2元素（Elements）面板54
3.3網絡（Network）面板55
3.4Chrome插件59
第四章HTML內容爬取與解析62
4.1爬蟲的開發(fā)思路62
4.2Requests模塊概述及其安裝65
4.3Requests基本請求方式67
4.4復雜的Requests請求方式70
4.5Requests上傳與下載74
4.6lxml模塊的安裝與使用方法76
4.6.1lxml模塊的安裝76
4.6.2lxml模塊的使用77
4.7BeautifulSoup4模塊88
4.7.1BeautifulSoup4模塊的安裝88
4.7.2解析器89
4.7.3按照標準的縮進格式輸出HTML89
4.7.4處理HTMLDOM節(jié)點91
4.7.5遍歷Tag的子孫節(jié)點97
4.7.6獲取Tag的文本內容101
4.7.7根據Tags間的關系獲取節(jié)點105
4.7.8find_all()方法name參數的使用109
4.7.9find_all()方法其他參數的使用115
4.7.10搜索HTMLDOM樹的其他方法123
4.7.11采用CSS選擇器查找元素124
4.8PyQuery模塊132
4.8.1PyQuery模塊的安裝132
4.8.2PyQuery模塊語法講解132
4.9TXT文件的讀／寫操作136
4.9.1TXT文件的讀取136
4.9.2TXT文件的寫入138
4.10CSV文件的讀／寫操作139
4.10.1CSV文件概述139
4.10.2CSV文件的讀取140
4.10.3CSV文件的寫入142
第五章正則表達式144
5.1正則表達式常用符號144
5.1.1正則表達式的定義144
5.1.2普通字符144
5.1.3預定義字符145
5.1.4量詞字符147
5.1.5邊界匹配字符150
5.1.6分組匹配字符152
5.2re模塊及其功能函數153
5.2.1search()函數153
5.2.2sub()函數155
5.2.3findall()函數156
5.2.4re模塊修飾符157
5.3綜合案例——爬取某電影網站的榜單157
5.3.1爬蟲思路分析157
5.3.2爬蟲程序及分析158
第六章數據接口信息爬取161
6.1數據接口概述161
6.2API的使用161
6.2.1API概述161
6.2.2API樣例161
6.3解析XHR接口165
6.3.1JSON解析庫165
6.3.2某招聘網站數據接口分析167
6.4綜合案例——爬取某網站新聞中的圖片172
6.4.1圖片爬取方法172
6.4.2爬蟲思路分析173
6.4.3爬蟲程序及分析177
第七章數據庫存儲180
7.1MySQL數據庫180
7.1.1關系型數據庫概述180
7.1.2MySQL的安裝182
7.1.3SQL概述187
7.1.4MySQL的數據類型187
7.1.5數據定義語言（DDL）及常用操作189
7.1.6數據操縱語言（DML）193
7.1.7數據查詢語言（DQL）195
7.1.8pyMySQL模塊的使用203
7.2MongoDB數據庫206
7.2.1NoSQL數據庫概述206
7.2.2MongoDB的安裝206
7.2.3MongoDB的數據類型213
7.2.4MongoDB數據庫操作214
7.2.5MongoDB集合操作215
7.2.6MongoDB文檔操作216
7.2.7pymongo模塊的使用222
7.3Redis數據庫226
7.3.1內存數據庫概述226
7.3.2典型Redis數據類型的操作226
7.3.3Redis模塊的使用234
7.4綜合案例1——爬取某網站的微客數據235
7.4.1爬蟲思路分析235
7.4.2爬蟲程序及分析237
7.5綜合案例2——爬取某網站的房源數據241
7.5.1爬蟲思路分析241
7.5.2爬蟲程序及分析244
第八章表單交互與模擬登錄249
8.1表單交互249
8.1.1POST請求249
8.1.2PythonRequests提交表單249
8.2模擬登錄254
8.2.1Cookies概述254
8.2.2提交Cookies模擬登錄254
8.3綜合案例——爬取某招聘網站的招聘信息257
8.3.1爬蟲思路分析257
8.3.2爬蟲程序及分析259
第九章反爬蟲技術以及應對方法262
9.1常見的反爬蟲技術262
9.2基于請求頭的反爬蟲技術以及應對方法262
9.3基于用戶行為的反爬蟲技術以及應對方法264
9.4基于Cookies的反爬蟲技術以及應對方法266
9.5基于驗證碼的反爬蟲技術以及應對方法267
第十章Selenium模擬瀏覽器271
10.1Selenium概述271
10.1.1Selenium的介紹和安裝271
10.1.2瀏覽器的選擇和安裝271
10.2Selenium的使用274
10.2.1模擬瀏覽器簡單操作274
10.2.2SeleniumDriver操作276
10.2.3SeleniumWebelement操作277
10.2.4SeleniumActionChains278
10.2.5SeleniumWait279
10.2.6SeleniumExpectedConditions280
10.2.7模擬登錄282
10.2.8破解滑塊驗證碼283
10.3綜合案例1——爬取某交友軟件的好友空間信息288
10.3.1爬蟲思路分析288
10.3.2爬蟲程序及分析291
10.4綜合案例2——爬取某電商網站的商品信息292
10.4.1爬蟲思路分析292
10.4.2爬蟲程序及分析294
第十一章Scrapy爬蟲框架300
11.1Scrapy的安裝和使用300
11.1.1Scrapy爬蟲框架的架構300
11.1.2安裝Scrapy301
11.1.3創(chuàng)建Scrapy爬蟲項目304
11.1.4Scrapy文件介紹306
11.1.5編寫Scrapy爬蟲程序309
11.1.6運行Scrapy爬蟲311
11.1.7ItemPipeline的用法313
11.1.8下載中間件的用法315
11.1.9Scrapy對接Selenium319
11.2綜合案例1——爬取某房地產網站326
11.2.1爬蟲思路分析326
11.2.2爬蟲程序及分析329
11.3綜合案例2——爬取某書評網站335
11.3.1爬蟲思路分析335
11.3.2爬蟲程序及分析338
第十二章分布式爬蟲以及爬蟲的部署345
12.1分布式爬蟲原理345
12.1.1分布式爬蟲架構345
12.1.2維護爬取隊列346
12.1.3去重操作346
12.1.4防止中斷348
12.2基于scrapy-redis的分布式爬蟲348
12.2.1scrapy-redis架構349
12.2.2安裝scrapy-redis349
12.2.3scrapy-redis常用配置350
12.2.4scrapy-redis簡單實例350
12.3Scrapyd部署爬蟲351
12.4Scrapyd-Client的使用353