SQL數(shù)據(jù)分析

第1章 理解和描述數(shù)據(jù) 1
1.1 簡介 1
1.2 數(shù)據(jù)世界 1
1.2.1 數(shù)據(jù)類型 1
1.2.2 數(shù)據(jù)分析和統(tǒng)計 2
1.2.3 統(tǒng)計類型 3
1.2.4 操作1：對新數(shù)據(jù)集進行分類 4
1.3 描述統(tǒng)計的方法 4
1.3.1 單變量分析 5
1.3.2 數(shù)據(jù)頻率分布 5
1.3.3 練習1：創(chuàng)建直方圖 5
1.3.4 練習2：計算附加銷售的四分位數(shù) 10
1.3.5 集中趨勢 12
1.3.6 練習3：計算附加銷售的集中趨勢 13
1.3.7 離散度 14
1.3.8 練習4：附加銷售的離散度 15
1.3.9 雙變量分析 16
1.3.10 散點圖 16
1.3.11 練習5：計算兩個變量的皮爾森相關系數(shù) 21
1.3.12 操作2：研究經(jīng)銷商銷售數(shù)據(jù) 26
1.3.13 與遺失數(shù)據(jù)協(xié)同工作 27
1.4 統(tǒng)計顯著性檢驗 27
1.5 本章小結 29
第2章 數(shù)據(jù)分析與SQL基礎知識 31
2.1 簡介 31
2.2 關系數(shù)據(jù)庫和SQL 31
2.3 SQL中的基本數(shù)量類型 33
2.3.1 數(shù)字 33
2.3.2 字符 33
2.3.3 布爾類型 35
2.3.4 datatime 35
2.3.5 數(shù)據(jù)結構：JSON和數(shù)組 36
2.4 讀取表：SELECT查詢 36
2.4.1 SELECT查詢的基本分析和工作機制 36
2.4.2 SELECT查詢中的基本關鍵字 37
2.4.3 練習6：查詢銷售人員表 42
2.4.4 操作3：查詢客戶表 43
2.5 創(chuàng)建表 44
2.5.1 創(chuàng)建空表 44
2.5.2 練習7：在SQL中創(chuàng)建表 45
2.5.3 利用SELECT創(chuàng)建表 46
2.6 更新表 46
2.6.1 添加和移除列 46
2.6.2 添加新數(shù)據(jù) 47
2.6.3 更新現(xiàn)有行 48
2.6.4 練習8：更新SQL中的表 48
2.7 刪除數(shù)據(jù)和表 49
2.7.1 刪除行中的值 49
2.7.2 刪除表中的行 50
2.7.3 刪除表 50
2.7.4 練習9：不必要的參考表 51
2.7.5 操作4：營銷行為 51
2.8 SQL和數(shù)據(jù)分析 52
2.9 本章小結 52
第3章 SQL數(shù)據(jù)準備 55
3.1 簡介 55
3.2 采集數(shù)據(jù) 55
3.2.1 利用JOIN連接表 55
3.2.2 連接類型 57
3.2.3 練習10：使用連接操作分析經(jīng)銷商數(shù)據(jù) 63
3.2.4 子連接 65
3.2.5 聯(lián)合 65
3.2.6 練習11：利用UNION關鍵字生成高級客戶名單 67
3.2.7 公共表表達式 68
3.3 轉換數(shù)據(jù) 69
3.3.1 練習12：使用CASE WHEN函數(shù)獲取區(qū)域列表 70
3.3.2 操作5：利用SQL技術構建銷售模型 76
3.4 本章小結 77
第4章 數(shù)據(jù)分析的聚合函數(shù) 79
4.1 簡介 79
4.2 聚合函數(shù) 79
4.3 練習13：使用聚合函數(shù)分析數(shù)據(jù) 81
4.4 基于GROUP BY的聚合函數(shù) 82
4.4.1 GROUP BY 82
4.4.2 多列GROUP BY 85
4.4.3 練習14：利用GROUP BY并通過產(chǎn)品類型計算成本 86
4.4.4 集合分組 87
4.4.5 有序集聚合結果 88
4.5 HAVING子句 89
4.6 練習15：利用HAVING子句計算和顯示數(shù)據(jù) 90
4.7 使用聚合函數(shù)清理數(shù)據(jù)并檢測數(shù)據(jù)質(zhì)量 91
4.7.1 利用GROUP BY檢索缺失數(shù)據(jù) 91
4.7.2 利用聚合函數(shù)評估數(shù)據(jù)質(zhì)量 93
4.7.3 操作6：利用聚合函數(shù)分析銷售數(shù)據(jù) 93
4.8 本章小結 94
第5章 數(shù)據(jù)分析的窗口函數(shù) 95
5.1 簡介 95
5.2 窗口函數(shù) 95
5.2.1 窗口函數(shù)的基本知識 96
5.2.2 練習16：分析客戶數(shù)據(jù)填充率 100
5.2.3 WINDOW關鍵字 102
5.3 基于窗口函數(shù)的統(tǒng)計信息 103
5.3.1 練習17：聘用日期排名 104
5.3.2 窗框 105
5.3.3 練習18：團餐活動 107
5.3.4 操作7：利用窗框和窗口函數(shù)分析銷售數(shù)據(jù) 108
5.4 本章小結 109
第6章 導入和導出數(shù)據(jù) 111
6.1 簡介 111
6.2 COPY命令 111
6.2.1 使用COPY命令 112
6.2.2 利用psql復制數(shù)據(jù) 113
6.2.3 配置COPY和\\copy 114
6.2.4 使用COPY和\\copy命令將數(shù)據(jù)批量上傳至數(shù)據(jù)庫中 114
6.2.5 練習19：將數(shù)據(jù)導出至文件中并在Excel中進行處理 115
6.3 R和數(shù)據(jù)庫 118
6.3.1 為何使用R 119
6.3.2 開始使用R 119
6.4 Python語言和數(shù)據(jù)庫 121
6.4.1 為何使用Python 121
6.4.2 開始使用Python 122
6.4.3 練習20：利用Python導出數(shù)據(jù)庫中的數(shù)據(jù) 122
6.4.4 利用SQLAlchemy和Pandas改進Python中的Postgres訪問操作 124
6.4.5 為何使用SQLAlchemy 124
6.4.6 使用Jupyter Notebook 125
6.4.7 利用Pandas讀取和寫入數(shù)據(jù)庫 127
6.4.8 利用Pandas執(zhí)行數(shù)據(jù)可視化操作 128
6.4.9 練習21：在Python中讀取數(shù)據(jù)和可視化數(shù)據(jù) 128
6.4.10 利用Python將數(shù)據(jù)寫入數(shù)據(jù)庫中 130
6.4.11 利用COPY提升Python寫入速度 131
6.4.12 利用Python讀、寫CSV文件 132
6.5 實現(xiàn)導入、導出數(shù)據(jù) 133
6.5.1 減少密碼處理 133
6.5.2 操作8：使用外部數(shù)據(jù)集估計銷售趨勢 134
6.6 本章小結 135
第7章 利用復雜數(shù)據(jù)類型進行分析 137
7.1 簡介 137
7.2 日期和時間數(shù)據(jù)類型 137
7.2.1 date類型 138
7.2.2 轉換日期類型 140
7.2.3 區(qū)間 142
7.2.4 練習22：分析時序數(shù)據(jù) 143
7.3 在Postgres中執(zhí)行地理空間分析 145
7.3.1 經(jīng)緯度 145
7.3.2 在Postgres中表示經(jīng)緯度 145
7.3.3 練習23：地理空間分析 147
7.4 使用Postgres中的ARRAY數(shù)據(jù)類型 149
7.5 使用Postgres中的JSON數(shù)據(jù)類型 152
7.5.1 JSONB：預解析的JSON 154
7.5.2 從JSON或JSONB字段中訪問數(shù)據(jù) 155
7.5.3 創(chuàng)建和修改JSONB字段中的數(shù)據(jù) 157
7.5.4 練習24：搜索JSONB 157
7.6 利用Postgres進行文本分析 159
7.6.1 標記文本 159
7.6.2 練習25：執(zhí)行文本分析 160
7.6.3 執(zhí)行文本搜索 164
7.6.4 優(yōu)化Postgres上的文本搜索 166
7.6.5 操作9：銷售量的搜索和分析 168
7.7 本章小結 169
第8章 高性能SQL 171
8.1 簡介 171
8.2 數(shù)據(jù)庫掃描方法 172
8.2.1 查詢規(guī)劃機制 172
8.2.2 掃描和順序掃描 173
8.2.3 練習26：解釋查詢規(guī)劃 174
8.2.4 操作10：查詢規(guī)劃 178
8.2.5 索引掃描 178
8.2.6 B樹索引 179
8.2.7 練習27：創(chuàng)建索引掃描 180
8.2.8 操作11：實現(xiàn)索引掃描 185
8.2.9 哈希索引 186
8.2.10 練習28：生成多個哈希索引以改進性能 186
8.2.11 操作12：實現(xiàn)哈希索引 190
8.2.12 高效的索引應用 191
8.3 高效的連接操作 192
8.3.1 練習29：內(nèi)連接應用 193
8.3.2 操作13：實現(xiàn)連接操作 198
8.4 函數(shù)和觸發(fā)器 199
8.4.1 函數(shù)定義 200
8.4.2 練習30：定義無參函數(shù) 201
8.4.3 操作14：定義最大銷售額函數(shù) 203
8.4.4 練習31：定義包含參數(shù)的函數(shù) 204
8.4.5 \\df和\\sf命令 206
8.4.6 操作15：定義包含參數(shù)的函數(shù) 206
8.4.7 觸發(fā)器 207
8.4.8 練習32：創(chuàng)建觸發(fā)器以更新字段 208
8.4.9 操作16：創(chuàng)建觸發(fā)器并記錄平均購買量 213
8.4.10 刪除查詢 214
8.4.11 練習33：取消耗時較長的查詢 214
8.4.12 操作17：終止一個耗時的查詢 216
8.5 本章小結 216
第9章 利用SQL獲取洞察結果 219
9.1 簡介 219
9.2 案例研究 219
9.2.1 科學方法 219
9.2.2 練習34：基于SQL技術的初步數(shù)據(jù)收集 220
9.2.3 練習35：析取銷售信息 222
9.2.4 操作18：銷售的量化計算 226
9.2.5 練習36：上市時間分析 227
9.2.6 操作19：分析銷售價格假設中的差異 234
9.2.7 練習37：通過電子郵件點擊率分析銷售增長 236
9.2.8 練習38：分析電子郵件營銷活動的表現(xiàn)結果 243
9.2.9 結論 247
9.2.10 現(xiàn)場測試 248
9.3 本章小結 248
附錄 251
第1章 理解和描述數(shù)據(jù) 251
操作1：對新數(shù)據(jù)集進行分類 251
操作2：研究經(jīng)銷商銷售數(shù)據(jù) 251
第2章 數(shù)據(jù)分析與SQL基礎知識 253
操作3：查詢客戶表 253
操作4：營銷行為 255
第3章 SQL數(shù)據(jù)準備 256
操作5：利用SQL技術構建銷售模型 256
第4章 數(shù)據(jù)分析的聚合函數(shù) 257
操作6：利用聚合函數(shù)分析銷售數(shù)據(jù) 257
第5章 數(shù)據(jù)分析的窗口函數(shù) 259
操作7：利用窗框和窗口函數(shù)分析銷售數(shù)據(jù) 259
第6章 導入和導出數(shù)據(jù) 262
操作8：使用外部數(shù)據(jù)集估計銷售趨勢 262
第7章 利用復雜數(shù)據(jù)類型進行分析 269
操作9：銷售量的搜索和分析 269
第8章 高性能SQL 272
操作10：查詢規(guī)劃 272
操作11：實現(xiàn)索引掃描 274
操作12：實現(xiàn)哈希索引 276
操作13：實現(xiàn)連接操作 278
操作14：定義最大銷售額函數(shù) 280
操作15：定義包含參數(shù)的函數(shù) 281
操作16：創(chuàng)建觸發(fā)器并記錄平均購買量 282
操作17：終止一個耗時的查詢 283
第9章 利用SQL獲取洞察結果 284
操作18：銷售的量化計算 284
操作19：分析銷售價格假設中的差異 286