cURL必知必會

第 1 章 cURL項目 1
1．1 它是如何開始的 2
1．2．1 發(fā)音問題 2
1．2．2 混淆 2
1．2．3 作為動詞 2
1．3 curl可以做什么 3
1．3．1 命令行工具curl 3
1．3．2 libcurl庫 3
1．4 開發(fā)團隊 4
1．5 curl的用戶 5
1．5．1 開源 5
1．5．2 下載量 5
1．5．3 找出用戶 6
1．5．4 命令行工具用戶 6
1．5．5 嵌入式庫 6
1．5．6 網(wǎng)站后端 6
1．5．7 著名的用戶 6
第 2 章 命令行基礎(chǔ) 8
2．1 命令行選項 9
2．1．1 短選項 9
2．1．2 長選項 10
2．1．3 選項的參數(shù) 10
2．1．4 帶空格的參數(shù) 10
2．1．5 負選項 11
2．2 不同版本的選項 11
2．3 URL 11
2．3．1 scheme 12
2．3．2 scheme分隔符 12
2．3．3 不使用scheme 13
2．3．4 用戶名和密碼 13
2．3．5 主機名或地址 13
2．3．6 端口號 13
2．3．7 路徑 14
2．3．8 FTP類型 14
2．3．9 片段 15
2．3．10 瀏覽器的“地址欄” 15
2．3．11 多個選項和多個URL 15
2．3．12 URL的單獨選項 15
2．3．13 連接重用 16
2．4 URL通配 16
2．4．1 數(shù)值范圍 16
2．4．2 字母范圍 17
2．4．3 列表 17
2．4．4 組合 17
2．4．5 輸出變量 17
2．5 列出所有的命令行選項 18
2．6 配置文件 18
2．7 密碼和窺探 20
2．7．1 命令行泄露 20
2．7．2 網(wǎng)絡(luò)泄露 20
2．8 進度指示器 20
2．8．1 單位 21
2．8．2 進度指示器圖例 21
第 3 章 使用curl 23
3．1 詳細模式 23
3．1．1 --trace和--trace-ascii 25
3．1．2 --trace-time 26
3．1．3 HTTP 2 27
3．1．4 --write-out 27
3．1．5 可用的--write-out 變量 27
3．1．6 靜默模式 29
3．2 持久連接 29
3．3 下載 29
3．3．1 究竟下載了哪些內(nèi)容 29
3．3．2 保存下載的內(nèi)容 30
3．3．3 用URL指定的文件名保存內(nèi)容 30
3．3．4 從服務(wù)器獲取目標文件名 31
3．3．5 HTML和字符集 31
3．3．6 壓縮 31
3．3．7 shell重定向 32
3．3．8 多個下載 32
3．3．9 讓所有URL使用自己的文件名 33
3．3．10 “我的瀏覽器顯示的是其他內(nèi)容” 33
3．3．11 客戶端差異 33
3．3．12 服務(wù)器端差異 34
3．3．13 中介的欺騙 34
3．3．14 速率限定 34
3．3．15 最大的文件 35
3．3．16 Metalink 35
3．3．17 在文件系統(tǒng)中保存元數(shù)據(jù) 36
3．3．18 --raw 36
3．3．19 失敗重試 36
3．3．20 恢復下載和下載范圍 36
3．4 上傳 37
3．4．1 支持上傳的協(xié)議 37
3．4．2 HTTP 提供了幾種“上傳”方式 37
3．4．3 POST 37
3．4．4 multipart formpost 38
3．4．5 PUT 38
3．4．6 FTP上傳 38
3．4．7 SMTP上傳 38
3．4．8 上傳的進度指示器 39
3．4．9 速率限定 39
3．5 連接 39
3．5．1 主機名解析技巧 39
3．5．2 基于c-ares庫的域名解析 41
3．5．3 連接超時 41
3．5．4 網(wǎng)絡(luò)接口 41
3．5．5 本地端口號 42
3．5．6 keepalive 42
3．6 超時 43
3．6．1 允許的最長時間 43
3．6．2 允許的最長連接時間 43
3．6．3 傳輸速率慢到一定程度就退出 43
3．6．4 保持連接活躍 44
3．7 ．netrc 44
3．7．1 ．netrc的文件格式 44
3．7．2 啟用netrc 45
3．8 代理 45
3．8．1 發(fā)現(xiàn)你的代理 45
3．8．2 PAC 46
3．8．3 代理類型 46
3．8．4 HTTP 46
3．8．5 HTTPS和代理 46
3．8．6 MITM代理 47
3．8．7 HTTP代理與非HTTP協(xié)議 47
3．8．8 HTTP代理通道 47
3．8．9 SOCKS類型 48
3．8．10 代理身份驗證 48
3．8．11 使用HTTPS連接代理 49
3．8．12 代理環(huán)境變量 49
3．9 退出狀態(tài) 50
3．9．1 可用的退出碼 50
3．9．2 錯誤消息 56
3．9．3 “未使用” 56
3．10 FTP 56
3．10．1 ping-pong 56
3．10．2 傳輸模式 57
3．10．3 身份驗證 57
3．10．4 FTP使用兩個連接 57
3．10．5 如何遍歷目錄 58
3．10．6 高級FTP特性 59
3．11 SCP和SFTP 60
3．11．1 URL 60
3．11．2 已知的主機 61
3．12 SMTP 62
3．12．1 示例（email．txt） 62
3．12．2 安全的郵件傳輸 63
3．12．3 SMTP URL 63
3．12．4 不進行MX查找 63
3．13 TLS 64
3．13．1 密碼 64
3．13．2 啟用TLS 64
3．13．3 SSL和TLS版本 65
3．13．4 驗證服務(wù)器證書 66
3．13．5 CA存儲 66
3．13．6 證書固定 67
3．13．7 OCSP裝訂 67
3．13．8 客戶端證書 68
3．14 SSLKEYLOGFILE 8
3．15 復制為curl命令 69
3．15．1 Firefox 69
3．15．2 Chrome 70
3．15．3 Safari 70
3．15．4 不使用Firefox的開發(fā)者工具 71
3．15．5 不完美 71
第 4 章 用curl執(zhí)行HTTP操作 72
4．1 協(xié)議基礎(chǔ) 72
4．1．1 HTTP方法 72
4．1．2 HTTP協(xié)議基礎(chǔ) 72
4．1．3 將URL轉(zhuǎn)換為請求 73
4．1．4 --path-as-is 73
4．2 響應 74
4．2．1 HTTP響應 74
4．2．2 HTTP響應消息的大小 74
4．2．3 HTTP響應碼 74
4．2．4 CONNECT響應碼 75
4．2．5 分塊傳輸編碼 75
4．2．6 gzip壓縮傳輸 75
4．2．7 壓縮傳輸編碼 75
4．2．8 傳遞傳輸編碼 76
4．3 HTTP身份驗證 76
4．4 HTTP區(qū)間 77
4．5 HTTP版本 78
4．6 HTTP POST 78
4．6．1 Content-Type 79
4．6．2 POST二進制內(nèi)容 79
4．6．3 URL編碼 79
4．6．4 轉(zhuǎn)換為GET 80
4．6．5 Expect： 100-continue 80
4．6．6 分塊編碼的POST 81
4．6．7 隱藏的表單字段 81
4．6．8 了解瀏覽器都發(fā)送了些什么 81
4．6．9 JavaScript和表單 82
4．7 HTTP multipart formpost 82
4．7．1 使用curl發(fā)送表單 83
4．7．2 生成的HTTP內(nèi)容 83
4．7．3 Content-Type 84
4．8 -d與-F 84
4．8．1 HTML Web表單 84
4．8．2 HTML之外的POST 85
4．9 重定向 85
4．9．1 HTTP重定向 85
4．9．2 永久重定向和臨時重定向 85
4．9．3 讓curl遵循重定向 86
4．9．4 GET還是POST 86
4．9．5 決定在重定向中使用哪種方法 87
4．9．6 重定向到其他主機 87
4．9．7 非HTTP重定向 87
4．9．8 HTML重定向 87
4．9．9 JavaScript重定向 87
4．10 修改HTTP請求 88
4．10．1 請求方法 88
4．10．2 自定義標頭 88
4．10．3 referer 89
4．10．4 User-Agent 89
4．10．5 時間條件 90
4．11 PUT 90
4．12 cookie 91
4．12．1 cookie引擎 91
4．12．2 從文件中讀取cookie 91
4．12．3 將cookie寫入文件 92
4．12．4 新cookie會話 92
4．13 HTTP 2 92
第 5 章 構(gòu)建和安裝 94
5．1 安裝預構(gòu)建的二進制包 94
5．2 從源代碼構(gòu)建 96
5．2．1 git與tarball 96
5．2．2 在Linux和類Unix系統(tǒng)上 96
5．2．3 自動工具 97
5．2．4 選擇TLS后端 97
5．3 依賴項 98
5．3．1 zlib 98
5．3．2 c-ares 98
5．3．3 libssh2 98
5．3．4 nghttp2 98
5．3．5 openldap 98
5．3．6 librtmp 99
5．3．7 libmetalink 99
5．3．8 libpsl 99
5．3．9 libidn2 99
5．4 TLS庫 99
5．4．1 用TLS庫構(gòu)建curl 99
5．4．2 使用boringssl構(gòu)建curl 102
第 6 章 libcurl基礎(chǔ) 103
6．1 easy句柄 103
6．2 “驅(qū)動”傳輸 104
6．2．1 使用easy接口 105
6．2．2 使用multi接口 105
6．2．3 單個傳輸什么時候結(jié)束 107
6．2．4 使用multi_socket接口 107
6．2．5 選擇一個 108
6．2．6 多個easy句柄 108
6．2．7 multi_socket回調(diào) 108
6．2．8 如何開始傳輸 109
6．2．9 什么時候結(jié)束 110
6．3 連接重用 110
6．3．1 easy API連接池 110
6．3．2 multi API連接池 110
6．3．3 共享“連接緩存” 111
6．4 回調(diào) 111
6．4．1 寫回調(diào) 111
6．4．2 讀回調(diào) 112
6．4．3 進度回調(diào) 112
6．4．4 標頭回調(diào) 113
6．4．5 調(diào)試回調(diào) 114
6．4．6 sockopt回調(diào) 114
6．4．7 opensocket和closesocket回調(diào) 115
6．4．8 提供文件描述符 115
6．4．9 closesocket回調(diào) 116
6．5 清理 116
6．5．1 multi API 116
6．5．2 easy句柄 116
6．5．3 域名解析器后端 117
6．6 代理 118
6．6．1 代理類型 118
6．6．2 本地或代理域名查找 119
6．6．3 哪個代理 119
6．6．4 代理環(huán)境變量 119
6．6．5 HTTP代理 120
6．6．6 HTTPS代理 120
6．7 傳輸后的信息 121
6．7．1 可用的信息 121
6．7．2 在句柄之間共享數(shù)據(jù) 123
6．7．3 multi句柄 123
6．7．4 在easy句柄間共享數(shù)據(jù) 123
6．7．5 共享什么 123
6．7．6 鎖定 124
6．8 API兼容性 124
6．8．1 版本號 124
6．8．2 版本號數(shù)字的變化 125
6．8．3 哪個libcurl版本 125
6．8．4 運行的是哪個libcurl版本 126
6．9 curl --libcurl 127
6．10 頭文件 128
6．11 全局初始化 128
6．12 libcurl多線程 129
6．13 curl easy選項 129
6．13．1 設(shè)置句柄選項 129
6．13．2 設(shè)置數(shù)字選項 129
6．13．3 獲取句柄選項 130
6．14 CURLcode返回碼 130
6．15 詳細操作 130
6．16 libcurl示例 131
6．16．1 獲取一個簡單的HTML頁面 131
6．16．2 獲取HTML頁面并保存在內(nèi)存中 132
第 7 章 用libcurl執(zhí)行HTTP操作 135
7．1 HTTP響應 135
7．1．1 HTTP響應碼 135
7．1．2 關(guān)于HTTP的“錯誤”響應碼 136
7．2 HTTP請求 136
7．2．1 請求方法 136
7．2．2 自定義HTTP請求標頭 137
7．3 HTTP版本 139
7．4 HTTP區(qū)間 139
7．4．1 HTTP身份驗證 140
7．4．2 用戶名和密碼 140
7．4．3 要求進行身份驗證 140
7．4．4 Basic 140
7．5 在libcurl中處理cookie 141
7．5．1 cookie引擎 141
7．5．2 設(shè)置自定義cookie 142
7．5．3 導入和導出 142
7．5．4 cookie文件格式 143
7．6 下載 144
7．6．1 使用libcurl進行HTTP下載 144
7．6．2 同時下載標頭 144
7．7 上傳 145
7．7．1 HTTP上傳 145
7．7．2 HTTP POST 145
7．7．3 HTTP multipart formpost 145
第 8 章 語言綁定 146