白帽子講Web掃描

第1章 掃描器基礎(chǔ) 1
1．1 什么是Web掃描器 1
1．2 掃描器的重要性 2
1．3 掃描器的類(lèi)型 3
1．4 常見(jiàn)的掃描器（掃描器的示例） 4
1．5 掃描器評(píng)測(cè) 8
1．6 漏洞測(cè)試平臺(tái) 9
1．7 掃描環(huán)境部署 9
1．7．1 測(cè)試環(huán)境 9
1．7．2 開(kāi)發(fā)環(huán)境 12
第2章 Web爬蟲(chóng)基礎(chǔ) 19
2．1 什么是Web爬蟲(chóng) 19
2．2 瀏覽器手工爬取過(guò)程 19
2．3 URL 21
2．4 超級(jí)鏈接 22
2．5 HTTP協(xié)議（Request/Response） 23
2．5．1 HTTP請(qǐng)求 23
2．5．2 HTTP響應(yīng) 24
2．6 HTTP認(rèn)證 25
2．6．1 Basic認(rèn)證（基本式） 26
2．6．2 Digest認(rèn)證（摘要式） 27
2．7 HEAD方法 29
2．8 Cookie機(jī)制 29
2．9 DNS本地緩存 31
2．9．1 瀏覽器緩存 31
2．9．2 系統(tǒng)緩存 32
2．10 頁(yè)面解析 33
2．11 爬蟲(chóng)策略 34
2．11．1 廣度優(yōu)先策略 34
2．11．2 深度優(yōu)先策略 34
2．11．3 最佳優(yōu)先策略（聚焦爬蟲(chóng)策略） 35
2．12 頁(yè)面跳轉(zhuǎn) 35
2．12．1 客戶(hù)端跳轉(zhuǎn) 36
2．12．2 服務(wù)端跳轉(zhuǎn) 37
2．13 識(shí)別404錯(cuò)誤頁(yè)面 38
2．14 URL重復(fù)/URL相似/URL包含 39
2．14．1 URL重復(fù) 39
2．14．2 URL相似 39
2．14．3 URL包含 39
2．15 區(qū)分URL的意義 40
2．16 URL去重 40
2．16．1 布隆過(guò)濾器（Bloom Filter） 41
2．16．2 哈希表去重 41
2．17 頁(yè)面相似算法 42
2．17．1 編輯距離（Levenshtein Distance） 42
2．17．2 Simhash 43
2．18 斷連重試 43
2．19 動(dòng)態(tài)鏈接與靜態(tài)鏈接 43
第3章 Web爬蟲(chóng)進(jìn)階 44
3．1 Web爬蟲(chóng)的工作原理 44
3．2 實(shí)現(xiàn)URL封裝 45
3．3 實(shí)現(xiàn)HTTP請(qǐng)求和響應(yīng) 47
3．4 實(shí)現(xiàn)頁(yè)面解析 58
3．4．1 HTML解析庫(kù) 58
3．4．2 URL提取 59
3．4．3 自動(dòng)填表 66
3．5 URL去重去似 67
3．5．1 URL去重 67
3．5．2 URL去似去含 73
3．6 實(shí)現(xiàn)404頁(yè)面識(shí)別 75
3．7 實(shí)現(xiàn)斷連重試 77
3．8 實(shí)現(xiàn)Web爬蟲(chóng) 78
3．9 實(shí)現(xiàn)Web 2．0爬蟲(chóng) 83
第4章 應(yīng)用指紋識(shí)別 94
4．1 應(yīng)用指紋種類(lèi)及識(shí)別 94
4．2 應(yīng)用指紋識(shí)別的價(jià)值 95
4．3 應(yīng)用指紋識(shí)別技術(shù) 96
第5章 安全漏洞審計(jì) 102
5．1 安全漏洞審計(jì)三部曲 102
5．2 通用型漏洞審計(jì) 103
5．2．1 SQL注入漏洞 103
5．2．2 XSS跨站漏洞 111
5．2．3 命令執(zhí)行注入 120
5．2．4 文件包含漏洞 129
5．2．5 敏感文件泄露 136
5．3 Nday/0day漏洞審計(jì) 146
5．3．1 Discuz!7．2 faq．php SQL注入漏洞 147
5．3．2 Dedecms get webshell漏洞 150
5．3．3 Heartbleed漏洞（CVE-2014-0160） 153
5．3．4 PHP multipart/form-data遠(yuǎn)程DDoS（CVE-2015-4024） 157
第6章 掃描器進(jìn)階 160
6．1 掃描流程 160
6．2 軟件設(shè)計(jì) 163
6．3 功能模塊 164
6．4 軟件架構(gòu) 165
6．5 數(shù)據(jù)結(jié)構(gòu) 166
6．6 功能實(shí)現(xiàn) 167
6．6．1 IP/端口掃描和檢測(cè)（端口模塊） 167
6．6．2 端口破解模塊 170
6．6．3 子域名信息枚舉 172
6．6．4 文件、目錄暴力枚舉探測(cè)（不可視URL爬?。?175
6．6．5 掃描引擎 176
6．7 掃描報(bào)告 180
6．8 掃描測(cè)試 182
第7章 云掃描 185
7．1 什么是云掃描 185
7．2 云掃描架構(gòu) 185
7．3 云掃描實(shí)踐 187
7．3．1 Celery框架 188
7．3．2 掃描器Worker部署 189
7．3．3 云端調(diào)度 193
7．4 云掃描服務(wù) 199
第8章 企業(yè)安全掃描實(shí)踐 202
8．1 企業(yè)為什么需要掃描 202
8．2 企業(yè)掃描的應(yīng)用場(chǎng)景 202
8．2．1 基于網(wǎng)絡(luò)流量的掃描 202
8．2．2 基于訪問(wèn)日志的掃描 208
8．2．3 掃描的應(yīng)用場(chǎng)景比較 217
第9章 關(guān)于防御 218
9．1 爬蟲(chóng)反制 218
9．1．1 基于IP的反爬蟲(chóng) 218
9．1．2 基于爬行的反爬蟲(chóng) 221
9．2 審計(jì)反制 223
9．2．1 云WAF 223
9．2．2 云WAF的價(jià)值 223
9．3 防御策略 225
附錄A 227
附錄B 229