SAS數(shù)據(jù)統(tǒng)計(jì)分析與編程實(shí)踐

第one篇 小扣柴扉——成為SAS編程高手

第1章 SAS——統(tǒng)計(jì)分析的專用語言

1.1 SAS程序員——一個(gè)一點(diǎn)也不酷的職業(yè)... 3

1.1.1 穩(wěn)定性... 3

1.1.2 行業(yè)前景... 4

1.1.3 職業(yè)前景... 5

1.2 Python這么火，我為什么要學(xué)SAS. 7

1.2.1 R語言：統(tǒng)計(jì)分析專業(yè)戶... 7

1.2.2 Python：成功“出圈”的編程語言... 8

1.2.3 SAS：非開源的強(qiáng)大數(shù)據(jù)分析工具... 10

1.3 SAS的行業(yè)應(yīng)用... 12

1.3.1 醫(yī)藥行業(yè)... 12

1.3.2 金融行業(yè)... 14

1.3.3 營銷行業(yè)... 15

第2章 跟SAS交個(gè)朋友

2.1 SAS的安裝和版本介紹... 17

2.1.1 先聊聊SAS的發(fā)展脈絡(luò)... 17

2.1.2 SAS三種不同版本的安裝方式... 18

2.1.3 到底該用哪一版... 29

2.2 每個(gè)窗口都有用：日志、結(jié)果、輸出... 30

2.2.1 桌面版... 31

2.2.2 SAS Studio版... 34

2.3 編寫你的第one個(gè)SAS程序... 36

2.4 養(yǎng)成編程好習(xí)慣... 41

2.4.1 縮進(jìn)——六合刀法... 42

2.4.2 關(guān)注日志——三分劍術(shù)... 43

2.4.3 善用注釋——太極劍法... 48

2.4.4 幫助文檔——北冥神功... 50



第3章 data步——數(shù)據(jù)集處理小能手

3.1 邏輯判斷與數(shù)據(jù)集合并... 52

3.1.1 SAS的基本語法特點(diǎn)... 52

3.1.2 data步與proc. 53

3.1.3 邏輯判斷語句... 53

3.1.4 數(shù)據(jù)集的合并... 56

3.2 數(shù)值型變量與字符型變量... 59

3.2.1 兩種變量的概念... 60

3.2.2 數(shù)值型變量的相關(guān)函數(shù)... 62

3.2.3 字符型變量的相關(guān)函數(shù)... 64

3.3 數(shù)據(jù)格式... 69

3.3.1 創(chuàng)建、改變和刪除數(shù)據(jù)格式... 70

3.3.2 數(shù)值型變量的格式... 74

3.3.3 字符型變量的格式... 75

3.3.4 自定義數(shù)據(jù)格式... 76

3.3.5 字符型變量與數(shù)值型變量的轉(zhuǎn)換... 77

3.4 日期和時(shí)間的處理... 80

3.4.1 日期和時(shí)間變量的數(shù)據(jù)格式... 81

3.4.2 IOS8601格式... 84

3.4.3 日期和時(shí)間變量相關(guān)函數(shù)... 87

3.5 實(shí)戰(zhàn)案例：多種方法計(jì)算藥物副作用持續(xù)時(shí)間... 89

3.5.1 案例背景... 90

3.5.2 案例分析... 90

第4章 proc是個(gè)筐——數(shù)據(jù)分析往里裝

4.1 data步力所不及？proc迎難而上... 94

4.1.1 怎么學(xué)習(xí)proc. 95

4.1.2 從proc append說開去... 96

4.2 數(shù)據(jù)清理第one步——排序與查重... 99

4.2.1 排序... 99

4.2.2 查重... 104

4.3 數(shù)據(jù)的轉(zhuǎn)置與輸出... 107

4.3.1 數(shù)據(jù)轉(zhuǎn)置... 107

4.3.2 數(shù)據(jù)輸出... 111

4.4 讀取和存儲外部文件... 116

4.4.1 數(shù)據(jù)輸入... 116

4.4.2 data步與infile. 120

4.4.3 數(shù)據(jù)輸出... 123

4.5 讀取數(shù)據(jù)集和庫的信息... 125

4.5.1 proc contents——一眼看穿數(shù)據(jù)集... 126

4.5.2 proc datasets——萬能proc. 129

4.6 好風(fēng)憑借力：在SAS中使用SQL. 136

4.6.1 SQL與proc——強(qiáng)強(qiáng)聯(lián)合的數(shù)據(jù)分析工具... 137

4.6.2 操作變量與值... 138

4.6.3 數(shù)據(jù)集的合并... 143

4.6.4 使用proc SQL的正確姿勢... 145

4.7 實(shí)戰(zhàn)案例：使用proc sql進(jìn)行副作用與伴隨用藥數(shù)據(jù)多對多合并... 146

4.7.1 案例背景... 146

4.7.2 數(shù)據(jù)明晰... 147

4.7.3 需求實(shí)現(xiàn)... 148

4.7.4 總結(jié)思考... 151

第二篇 登堂入室——掌握數(shù)據(jù)分析技巧

第5章 宏——重復(fù)的事情交給程序

5.1 宏編程概念初探... 155

5.1.1 什么是宏？三個(gè)字概括：自動化... 155

5.1.2 宏的好處千千萬... 156

5.1.3 宏編程注意事項(xiàng)... 159

5.2 編寫第one個(gè)宏程序... 160

5.2.1 宏程序的結(jié)構(gòu)... 160

5.2.2 變量與宏變量——同名而不同姓的一對... 161

5.2.3 宏參數(shù)——讓你的宏程序“活起來”. 163

5.2.4 宏相關(guān)的選項(xiàng)... 166

5.3 宏的三要素：宏變量、宏邏輯和宏函數(shù)... 169

5.3.1 宏變量——百變游戲房... 170

5.3.2 宏邏輯——穿針引線的書房... 175

5.3.3 宏函數(shù)——宏程序的起居室... 179

5.4 SAS語句無法實(shí)現(xiàn)？宏程序來幫你... 181

5.4.1 %sysfunc引用SAS函數(shù)... 181

5.4.2 %sysfunc處理文件... 183

5.4.3 %sysfunc獲取系統(tǒng)信息... 186

5.5 實(shí)戰(zhàn)案例：自動創(chuàng)建包含變量參數(shù)的數(shù)據(jù)集模板... 188

5.5.1 項(xiàng)目背景... 188

5.5.2 項(xiàng)目拆解... 190

5.5.3 編程實(shí)現(xiàn)... 191

5.5.4 調(diào)試反饋... 193

第6章 統(tǒng)計(jì)分析并不難

6.1 數(shù)據(jù)分析的本質(zhì)：從數(shù)據(jù)到知識... 197

6.1.1 三級火箭與數(shù)據(jù)分析... 198

6.1.2 統(tǒng)計(jì)方法... 198

6.2 獲取各種統(tǒng)計(jì)量... 205

6.2.1 proc means——常用的數(shù)值型變量統(tǒng)計(jì)量獲取方式... 205

6.2.2 另一條道路... 211

6.2.3 proc freq——字符型變量我擅長... 212

6.3 實(shí)戰(zhàn)案例：異常值處理... 216

6.3.1 什么是異常值... 217

6.3.2 異常值的影響與處理方法... 217

6.3.3 異常值出現(xiàn)的原因... 218

6.3.4 使用統(tǒng)計(jì)相關(guān)proc去除異常值... 219

6.3.5 使用proc sql找出異常值... 221

6.4 帶你走進(jìn)p value. 225

6.4.1 顯著性檢驗(yàn)... 225

6.4.2 P值、拒絕域和置信區(qū)間... 226

6.4.3 常見的分布類型... 228

6.4.4 從proc ttest說開去... 230

6.4.5 proc freq是籮筐，各種p值里面裝... 232

6.5 實(shí)戰(zhàn)案例：藥物到底靈不靈... 234

6.5.1 隨機(jī)雙盲對照試驗(yàn)概念... 235

6.5.2 數(shù)據(jù)概覽... 236

6.5.3 分析與實(shí)踐... 237

6.5.4 案例總結(jié)... 240

6.6 其他統(tǒng)計(jì)分析功能常用模型... 240

6.6.1 生存分析... 241

6.6.2 回歸分析... 244

6.6.3 相關(guān)性分析... 250

6.6.4 主成分分析... 252

第7章 生成統(tǒng)計(jì)報(bào)表

7.1 數(shù)據(jù)可視化——數(shù)據(jù)分析的Z終目的... 255

7.1.1 數(shù)據(jù)可視化概念... 255

7.1.2 可視化方式的選擇... 257

7.1.3 從SAS到各種輸出格式——ODS是一座橋... 260

7.2 使用proc report生成數(shù)據(jù)報(bào)表... 266

7.2.1 proc report的基礎(chǔ)知識... 267

7.2.2 define語句調(diào)整每一列的參數(shù)... 269

7.2.3 讓表格更易懂：表頭、腳注與分行... 275

7.2.4 proc report重要選項(xiàng)一覽... 279

7.2.5 如何學(xué)好proc report 281

7.3 實(shí)戰(zhàn)案例：生成層級化計(jì)數(shù)報(bào)表... 283

7.3.1 案例背景... 283

7.3.2 數(shù)據(jù)與需求分析... 284

7.3.3 創(chuàng)建數(shù)據(jù)集... 286

7.3.4 創(chuàng)建輸出文件... 290

7.3.5 總結(jié)與思考... 293

7.4 變身藝術(shù)家：使用SAS繪圖... 294

7.4.1 proc gchart——方便的繪圖工具... 295

7.4.2 proc gplot——研究趨勢和變化... 301

7.4.3 自定義你的圖形——goption、symbol和其他語句... 306

7.4.4 其他常用的繪圖proc. 308

7.5 實(shí)戰(zhàn)案例：繪制生存曲線... 312

7.5.1 什么是生存分析... 313

7.5.2 案例背景與資源分析... 314

7.5.3 實(shí)戰(zhàn)操作... 316

7.6 美化統(tǒng)計(jì)圖表... 321

7.6.1 輸出結(jié)果與模板... 322

7.6.2 模板的設(shè)計(jì)與封裝... 326

7.6.3 如何成為proc template高手... 329

第8章 玩轉(zhuǎn)數(shù)據(jù)——常用數(shù)據(jù)分析與處理技巧

8.1 設(shè)置基準(zhǔn)線（Baseline）... 331

8.1.1 基準(zhǔn)線的概念與定義方法... 332

8.1.2 SAS中定義基準(zhǔn)線的方法... 333

8.1.3 常見問題和處理方法... 336

8.1.4 基準(zhǔn)線與變化量統(tǒng)計(jì)圖表... 338

8.2 缺失值的處理方法... 342

8.2.1 缺失不一定是錯(cuò)誤... 342

8.2.2 均值法——Z簡單的填補(bǔ)方法... 344

8.2.3 特殊場景——末次觀測值結(jié)轉(zhuǎn)法（LOCF）... 348

8.2.4 日期時(shí)間的缺失與部分缺失... 350

8.3 數(shù)據(jù)的時(shí)間窗口... 352

8.3.1 什么是時(shí)間窗口... 352

8.3.2 SAS中實(shí)現(xiàn)日期窗口化的方法... 354

8.3.3 使用宏程序?qū)崿F(xiàn)窗口化... 358

8.4 自動設(shè)置圖表表頭和腳注... 361

8.4.1 回顧與思考——如何創(chuàng)建表頭和題注... 361

8.4.2 優(yōu)秀的數(shù)據(jù)分析師應(yīng)該“懶”一點(diǎn)... 364

8.4.3 創(chuàng)建自動批量設(shè)置表頭和腳注的宏程序... 364

8.4.4 關(guān)于模塊化和文檔化編程的思考... 368

第9章 大型實(shí)戰(zhàn)——從數(shù)據(jù)到圖表的臨床試驗(yàn)分析

9.1 藥物上市流程全揭秘... 370

9.1.1 臨床試驗(yàn)與審批... 371

9.1.2 隨機(jī)雙盲對照試驗(yàn)... 372

9.2 辦事要按規(guī)矩來——CDISC標(biāo)準(zhǔn)淺析... 373

9.2.1 CDISC組織與CDISC標(biāo)準(zhǔn)——沒有王冠的王者... 373

9.2.2 CDISC中包含什么... 375

9.2.3 SDTM——數(shù)據(jù)標(biāo)準(zhǔn)化... 376

9.2.4 ADaM——拿來就用的分析數(shù)據(jù)集... 379

9.2.5 如何學(xué)習(xí)SDTM與ADaM... 380

9.3 創(chuàng)建分析用數(shù)據(jù)集... 380

9.3.1 從分析結(jié)果入手的逆向思維... 380

9.3.2 從spec開始... 382

9.3.3 SDTM數(shù)據(jù)集的結(jié)構(gòu)... 386

9.3.4 創(chuàng)建ADSL數(shù)據(jù)集... 388

9.4 創(chuàng)建分析圖表... 393

9.4.1 項(xiàng)目分析... 393

9.4.2 數(shù)值型變量的統(tǒng)計(jì)量... 394

9.4.3 字符型變量的統(tǒng)計(jì)量... 396

9.4.4 創(chuàng)建宏程序... 399

9.4.5 創(chuàng)建輸出圖表... 407

第三篇 爐火純青——深入數(shù)據(jù)分析行業(yè)

第10章 進(jìn)入數(shù)據(jù)分析行業(yè)

10.1 從頭開始進(jìn)入數(shù)據(jù)分析行業(yè)... 413

10.1.1 數(shù)據(jù)分析的背后... 413

10.1.2 從零開始，逐步提升... 417

10.1.3 百尺竿頭，更進(jìn)一步... 418

10.1.4 重整旗鼓，梅開二度... 420

10.2 求職—面試—入職，每一步都先人一步... 421

10.2.1 任爾東西南北風(fēng)——全面的求職準(zhǔn)備... 421

10.2.2 把酒祝東風(fēng)，且共從容——面試一本通... 423

10.2.3 春風(fēng)得意，不如潤物無聲——入職全指南... 425

10.3 善用神兵利器，提升工作效率... 426

10.3.1 數(shù)據(jù)分析師的事，怎么能算抄... 427

10.3.2 宏程序已加載：工作量減50%.. 430

10.3.3 日常積累，終有大用... 431

10.3.4 溝通交流，必不可少... 432

第11章 是真名士自風(fēng)流

11.1 什么是“士”型人才... 434

11.1.1 已破產(chǎn)的理論——“|”型人才和“一”型人才... 435

11.1.2 理論合并——“T”型人才的誕生... 436

11.1.3 更進(jìn)一步——“十”型人才... 437

11.1.4 并非簡單加一橫——“士”型人才... 438

11.2 左右逢源——了解數(shù)據(jù)分析全流程... 439

11.2.1 為什么選擇臨床試驗(yàn)數(shù)據(jù)分析行業(yè)... 440

11.2.2 每個(gè)流程都要懂... 441

11.2.3 建立良好的人際關(guān)系... 443

11.3 上食埃土，下飲黃泉——從程序到項(xiàng)目... 444

11.3.1 讓人又愛又恨的工作經(jīng)驗(yàn)... 445

11.3.2 到底什么是工作經(jīng)驗(yàn)... 446

11.3.3 從程序到項(xiàng)目的思維... 448

11.4 單點(diǎn)突破，方圓掌握——數(shù)據(jù)分析師的心法與身法... 450

11.4.1 扎穩(wěn)下盤——了解數(shù)據(jù)分析在公司中的地位... 451

11.4.2 保持靈活，伺機(jī)而動... 452

11.4.3 八方來襲，巋然不動... 453

11.4.4 九層之臺，起于累土... 453