多媒體技術(shù)教程

第一部分 多媒體編著和數(shù)據(jù)表現(xiàn)  
第1章 多媒體導論 2  
1.1 什么是多媒體 2  
1.1.1 多媒體的組成部分 2  
1.1.2 多媒體的研究課題和研究項目 3  
1.2 多媒體和超媒體 3  
1.2.1 多媒體的歷史 4  
1.2.2 超媒體和多媒體 5  
1.3 World Wide Web 5  
1.3.1 WWW的歷史 5  
1.3.2 HTTP 6  
1.3.3 HTML 7  
1.3.4 XML 7  
1.3.5 SMIL 8  
1.4 多媒體軟件工具概述 9  
1.4.1 編曲和譜曲 10  
1.4.2 數(shù)字音頻 10  
1.4.3 圖形和圖像編輯 10  
1.4.4 視頻編輯 11  
1.4.5 動畫 11  
1.4.6 多媒體編著 12  
1.5 進一步探索 12  
1.6 練習 13  
1.7 參考文獻 13  
第2章 多媒體編著和工具 15  
2.1 多媒體編著 15  
2.1.1 多媒體編著的模式 15  
2.1.2 多媒體作品 17  
2.1.3 多媒體展現(xiàn) 18  
2.1.4 自動編著 22  
2.2 多媒體編輯和編著工具 25  
2.2.1 Adobe Premiere 25  
2.2.2 Macromedia Director 28  
2.2.3 Macromedia Flash 31  
2.2.4 Dreamweaver 34  
2.3 VRML 34  
2.3.1 概述 34  
2.3.2 動畫和交互 36  
2.3.3 VRML規(guī)范 37  
2.4 進一步探索 37  
2.5 練習 38  
2.6 參考文獻 39  
第3章 圖形和圖像的數(shù)據(jù)表現(xiàn) 41  
3.1 圖形/圖像的數(shù)據(jù)類型 41  
3.1.1 1位圖像 41  
3.1.2 8位灰度圖像 41  
3.1.3 圖像數(shù)據(jù)類型 44  
3.1.4 24位彩色圖像 44  
3.1.5 8位彩色圖像 44  
3.1.6 顏色查找表 46  
3.2 常見的文件格式 48  
3.2.1 GIF 48  
3.2.2 JPEG 51  
3.2.3 PNG 52  
3.2.4 TIFF 52  
3.2.5 EXIF 52  
3.2.6 圖形動畫文件 52  
3.2.7 PS和PDF 52  
3.2.8 Windows WMF 53  
3.2.9 Windows BMP 53  
3.2.10 Macintosh PAINT和PICT 53  
3.2.11 X Windows PPM 53  
3.3 進一步探索 53  
3.4 練習 54  
3.5 參考文獻 55  
第4章 圖像和視頻中的顏色 56  
4.1 顏色科學 56  
4.1.1 光和光譜 56  
4.1.2 人的視覺 57  
4.1.3 眼睛的光譜靈敏度 57  
4.1.4 圖像的形成 58  
4.1.5 照相機系統(tǒng) 59  
4.1.6 伽馬校正 59  
4.1.7 顏色匹配函數(shù) 61  
4.1.8 CIE色度圖 62  
4.1.9 彩色顯示器規(guī)范 64  
4.1.10 超色域的顏色 65  
4.1.11 白點校正 65  
4.1.12 XYZ到RGB的轉(zhuǎn)換 66  
4.1.13 帶伽馬校正的轉(zhuǎn)換 66  
4.1.14 L*a*b*(CIELAB)顏色模型 67  
4.1.15 其他顏色坐標系統(tǒng) 68  
4.1.16 蒙塞爾顏色命名系統(tǒng) 68  
4.2 圖像中的顏色模型 68  
4.2.1 CRT顯示器的顏色模型 68  
4.2.2 減色法：CMY顏色模型 69  
4.2.3 從RGB到CMY的轉(zhuǎn)換 69  
4.2.4 消除不足顏色：CMYK系統(tǒng) 69  
4.2.5 打印機色域 70  
4.3 視頻中的顏色模型 71  
4.3.1 視頻顏色轉(zhuǎn)換 71  
4.3.2 YUV顏色模型 71  
4.3.3 YIQ顏色模型 72  
4.3.4 YCbCr顏色模型 73  
4.4 進一步探索 73  
4.5 練習 74  
4.6 參考文獻 76  
第5章 視頻中的基本概念 77  
5.1 視頻信號的類型 77  
5.1.1 分量視頻 77  
5.1.2 復合視頻 77  
5.1.3 S-Video 78  
5.2 模擬視頻 78  
5.2.1 NTSC視頻 79  
5.2.2 PAL視頻 81  
5.2.3 SECAM視頻 82  
5.3 數(shù)字視頻 82  
5.3.1 色度的二次采樣 82  
5.3.2 數(shù)字視頻的CCIR標準 83  
5.3.3 HDTV 84  
5.4 進一步探索 85  
5.5 練習 85  
5.6 參考文獻 86  
第6章 數(shù)字音頻基礎 87  
6.1 聲音數(shù)字化 87  
6.1.1 什么是聲音 87  
6.1.2 數(shù)字化 87  
6.1.3 奈奎斯特理論 88  
6.1.4 信噪比 90  
6.1.5 信號量化噪聲比 90  
6.1.6 線性量化和非線性量化 91  
6.1.7 音頻濾波 93  
6.1.8 音頻質(zhì)量與數(shù)據(jù)率 93  
6.1.9 合成的聲音 94  
6.2 MIDI：樂器數(shù)字化接口 95  
6.2.1 MIDI概述 95  
6.2.2 MIDI硬件 97  
6.2.3 MIDI消息的結(jié)構(gòu) 98  
6.2.4 通用MIDI 101  
6.2.5 MIDI到WAV的轉(zhuǎn)換 101  
6.3 音頻的量化和傳輸 101  
6.3.1 音頻的編碼 101  
6.3.2 脈沖編碼調(diào)制 101  
6.3.3 音頻的差分編碼 103  
6.3.4 無損預測編碼 104  
6.3.5 DPCM 106  
6.3.6 DM 108  
6.3.7 ADPCM 109  
6.4 進一步探索 110  
6.5 練習 111  
6.6 參考文獻 112  
第二部分 多媒體數(shù)據(jù)壓縮  
第7章 無損壓縮算法 117  
7.1 簡介 117  
7.2 信息論基礎 118  
7.3 游長編碼 120  
7.4 變長編碼 120  
7.4.1 香農(nóng)-凡諾算法 120  
7.4.2 赫夫曼編碼 122  
7.4.3 自適應赫夫曼編碼 124  
7.5 基于字典的編碼 127  
7.6 算術(shù)編碼 131  
7.7 無損圖像壓縮 134  
7.7.1 圖像的差分編碼 134  
7.7.2 無損JPEG 135  
7.8 進一步探索 136  
7.9 練習 136  
7.10 參考文獻 137  
第8章 有損壓縮算法 139  
8.1 簡介 139  
8.2 失真量度 139  
8.3 比率失真理論 140  
8.4 量化 140  
8.4.1 均勻標量量化 140  
8.4.2 非均勻標量量化 142  
*8.4.3 矢量量化 143  
8.5 變換編碼 144  
8.5.1 離散余弦變換 144  
*8.5.2 Karhunen-Loève變換 154  
8.6 小波編碼 156  
8.6.1 簡介 156  
*8.6.2 連續(xù)小波變換 159  
*8.6.3 離散小波變換 161  
8.7 小波包 167  
8.8 小波系數(shù)的嵌入零樹 168  
8.8.1 零樹數(shù)據(jù)結(jié)構(gòu) 168  
8.8.2 逐次近似量化 169  
8.8.3 EZW示例 170  
8.9 層次樹的集合劃分 172  
8.10 進一步探索 172  
8.11 練習 172  
8.12 參考文獻 174  
第9章 圖像壓縮標準.. 176  
9.1 JPEG標準 176  
9.1.1 JPEG圖像壓縮的主要步驟 176  
9.1.2 JPEG模式 182  
9.1.3 JEPG位流概述 184  
9.2 JPEG 2000標準 184  
*9.2.1 JEPG 2000圖像壓縮的主要  
*9.2.1 步驟 185  
9.2.2 使EBCOT適合JEPG 2000 190  
9.2.3 感興趣區(qū)域編碼 191  
9.2.4 JPEG和JPEG 2000的性能  
9.2.4 比較 192  
9.3 JPEG-LS標準 193  
9.3.1 預測 194  
9.3.2 確定上下文 194  
9.3.3 殘差編碼 195  
9.3.4 準無損模式 195  
9.4 二值圖像壓縮標準 195  
9.4.1 JBIG標準 195  
9.4.2 JBIG2標準 196  
9.5 進一步探索 197  
9.6 練習 197  
9.7 參考文獻 199  
第10章 基本視頻壓縮技術(shù) 200  
10.1 視頻壓縮簡介 200  
10.2 基于運動補償?shù)囊曨l壓縮 200  
10.3 搜索運動向量 201  
10.3.1 順序搜索 201  
10.3.2 2D對數(shù)搜索 202  
10.3.3 分層搜索 203  
10.4 H.261 205  
10.4.1 I幀編碼 206  
10.4.2 P幀預測編碼 206  
10.4.3 H.261的量化 207  
10.4.4 H.261編碼器和解碼器 207  
10.4.5 H.261視頻位流語法概述 209  
10.5 H.263 210  
10.5.1 H.263的運動補償 211  
10.5.2 H.263的可選編碼模式 212  
10.5.3 H.263+和H.263++ 213  
10.6 進一步探索 214  
10.7 練習 214  
10.8 參考文獻 215  
第11章 MPEG視頻編碼Ⅰ：MPEG-1  
第11章 和MPEG-2 216  
11.1 概述 216  
11.2 MPEG-1 216  
11.2.1 MPEG-1中的運動補償 216  
11.2.2 與H.261的其他主要區(qū)別 218  
11.2.3 MPEG-1視頻位流 220  
11.3 MPEG-2 221  
11.3.1 支持隔行掃描視頻 221  
11.3.2 MPEG-2的可伸縮性 224  
11.3.3 與MPEG-1的其他主要區(qū)別 228  
11.4 進一步探索 228  
11.5 練習 228  
11.6 參考文獻 229  
第12章 MPEG視頻編碼Ⅱ：MPEG-4.  
第12章 MPEG-7及更高版本 230  
12.1 MPEG-4概述 230  
12.2 MPEG-4的基于對象的視覺編碼 232  
12.2.1 基于VOP的編碼與基于幀的  
12.2.1 編碼 232  
12.2.2 運動補償 233  
12.2.3 紋理編碼 236  
12.2.4 形狀編碼 238  
12.2.5 靜態(tài)紋理編碼 239  
12.2.6 子圖像編碼 240  
12.2.7 全局運動補償 240  
12.3 MPEG-4的合成對象編碼 241  
12.3.1 2D網(wǎng)格對象編碼 241  
12.3.2 基于模型的3D編碼 246  
12.4 MPEG-4對象類型. 規(guī)格和等級 247  
12.5 MPEG-4 Part10/H.264 248  
12.5.1 核心特征 249  
12.5.2 基本規(guī)格特征 250  
12.5.3 主要規(guī)格特征 250  
12.5.4 擴展規(guī)格特征 250  
12.6 MPEG-7 250  
12.6.1 描述子 252  
12.6.2 描述方案 253  
12.6.3 描述定義語言 255  
12.7 MPEG-21 256  
12.8 進一步探索 256  
12.9 練習 256  
12.10 參考文獻 257  
第13章 音頻壓縮技術(shù)基礎 260  
13.1 語音編碼中的ADPCM 260  
ADPCM 260  
13.2 G.726 ADPCM 261  
13.3 聲音合成器 262  
13.3.1 相位不敏感性 262  
13.3.2 通道聲音合成器 263  
13.3.3 共振峰聲音合成器 264  
13.3.4 線性預測編碼 264  
13.3.5 CELP 266  
*13.3.6 混合激勵聲音合成器 270  
13.4 進一步探索 272  
13.5 練習 273  
13.6 參考文獻 274  
第14章 MPEG音頻壓縮 275  
14.1 心理聲學簡介 275  
14.1.1 等響度關系 275  
14.1.2 頻率遮掩 277  
14.1.3 時間遮掩 280  
14.2 MPEG音頻 282  
14.2.1 MPEG的層 282  
14.2.2 MPEG音頻策略 282  
14.2.3 MPEG音頻壓縮算法 283  
14.2.4 MPEG-2高級音頻編碼 287  
14.2.5 MPEG-4音頻 288  
14.3 其他商業(yè)音頻編解碼器 289  
14.4 未來: MPEG-7和MPEG-21 289  
14.5 進一步探索 289  
14.6 練習 290  
14.7 參考文獻 291  
第三部分 多媒體通信和檢索  
第15章 計算機和多媒體網(wǎng)絡 294  
15.1 計算機和多媒體網(wǎng)絡基礎 294  
15.1.1 OSI網(wǎng)絡的層次 294  
15.1.2 TCP/IP協(xié)議 294  
15.2 多路復用技術(shù) 297  
15.2.1 多路復用技術(shù)基礎 297  
15.2.2 綜合業(yè)務數(shù)字網(wǎng)絡 298  
15.2.3 同步光纖網(wǎng)絡 299  
15.2.4 非對稱數(shù)字用戶線路 300  
15.3 LAN和WAN 301  
15.3.1 局域網(wǎng) 301  
15.3.2 廣域網(wǎng) 303  
15.3.3 異步傳輸模式 304  
15.3.4 千兆和10千兆以太網(wǎng) 306  
15.4 接入網(wǎng) 306  
15.5 通用外設接口 307  
15.6 進一步探索 308  
15.7 練習 308  
15.8 參考文獻 308  
第16章 多媒體網(wǎng)絡通信和應用 309  
16.1 多媒體數(shù)據(jù)傳輸?shù)馁|(zhì)量 309  
16.1.1 服務質(zhì)量 309  
16.1.2 IP協(xié)議的QoS 311  
16.1.3 具有優(yōu)先級的發(fā)送 311  
16.2 IP上的多媒體 312  
16.2.1 IP多播 312  
16.2.2 實時傳輸協(xié)議（RTP） 314  
16.2.3 實時控制協(xié)議（RTCP） 315  
16.2.4 資源預留協(xié)議（RSVP） 315  
16.2.5 實時流協(xié)議（RTSP） 316  
16.2.6 因特網(wǎng)電話技術(shù) 317  
16.3 ATM網(wǎng)上的多媒體 320  
16.3.1 ATM網(wǎng)上的視頻碼率 320  
16.3.2 ATM適配層 321  
16.3.3 MPEG-2會聚到ATM 322  
16.3.4 ATM上的多播 322  
16.4 MPEG-4的傳輸 323  
16.4.1 MPEG-4中的DMIF 323  
16.4.2 IP上的MPEG-4 323  
16.5 媒體點播 324  
16.5.1 交互式電視和機頂盒 324  
16.5.2 視頻點播的廣播方案 325  
16.5.3 緩沖區(qū)管理 330  
16.6 進一步探索 333  
16.7 練習 333  
16.8 參考文獻 334  
第17章 無線網(wǎng)絡 336  
17.1 簡介 336  
17.1.1 模擬無線網(wǎng)絡 336  
17.1.2 數(shù)字無線網(wǎng)絡 337  
17.1.3 TDMA和GSM 337  
17.1.4 擴頻和CDMA 339  
17.1.5 CDMA分析 341  
17.1.6 3G數(shù)字無線網(wǎng)絡 343  
17.1.7 無線局域網(wǎng) 345  
17.2 無線電傳播模式 347  
17.2.1 多徑衰減 347  
17.2.2 路徑損耗 348  
17.3 無線網(wǎng)絡上的多媒體 349  
17.3.1 同步損失 349  
17.3.2 錯誤修復熵編碼 350  
17.3.3 錯誤隱藏 352  
17.3.4 前向糾錯 353  
17.3.5 無線交互式多媒體的趨勢 355  
17.4 進一步探索 357  
17.5 練習 357  
17.6 參考文獻 358  
第18章 數(shù)字圖書館中基于內(nèi)容的  
第18章 檢索 359  
18.1 如何檢索圖像 359  
18.2 C-BIRD：一個實例研究 360  
18.2.1 C-BIRD的GUI 361  
18.2.2 顏色直方圖 361  
18.2.3 顏色密度 363  
18.2.4 顏色分布 363  
18.2.5 紋理分布 364  
18.2.6 按光源恒常性查找 365  
18.2.7 按對象模型查找 366  
18.3 當前圖像查找系統(tǒng)概覽 377  
18.3.1 QBIC 377  
18.3.2 加州大學圣芭芭拉分校的  
18.3.2 搜索引擎 378  
18.3.3 加州大學伯克利分校的數(shù)字  
18.3.3 圖書館項目 378  
18.3.4 Chabot 378  
18.3.5 Blobworld 378  
18.3.6 哥倫比亞大學的圖像  
18.3.6 搜索器 378  
18.3.7 Informedia 379  
18.3.8 MetaSEEk 379  
18.3.9 Photobook和FourEyes 379  
18.3.10 MARS 379  
18.3.11 Virage 380  
18.3.12 VIPER 380  
18.3.13 Visual RetrievalWare 380  
18.4 相關反饋 380  
18.4.1 MARS 380  
18.4.2 iFind 382  
18.5 結(jié)果的量化 382  
18.6 視頻查詢 382  
18.7 其他格式的查詢 385  
18.8 基于內(nèi)容檢索的展望 385  
18.9 進一步探索 385  
18.10 練習 386  
18.11 參考文獻 387  
索引... 391