音視頻開發(fā)進階指南：基于Android與iOS平臺的實踐

Contents?目　　錄
推薦序一
推薦序二
前言
第1章　音視頻基礎概念 1
1.1　聲音的物理性質(zhì) 1
1.1.1　聲音是波 1
1.1.2　聲波的三要素 2
1.1.3　聲音的傳播介質(zhì) 3
1.1.4　回聲 3
1.1.5　共鳴 4
1.2　數(shù)字音頻 4
1.3　音頻編碼 6
1.4　圖像的物理現(xiàn)象 7
1.5　圖像的數(shù)值表示 8
1.5.1　RGB表示方式 8
1.5.2　YUV表示方式 9
1.5.3　YUV和RGB的轉(zhuǎn)化 10
1.6　視頻的編碼方式 10
1.6.1　視頻編碼 10
1.6.2　編碼概念 11
1.7　本章小結 13
第2章　移動端環(huán)境搭建 14
2.1　在iOS上如何搭建一個基礎項目 14
2.2　在Android上如何搭建一個基礎項目 21
2.3　交叉編譯的原理與實踐 26
2.3.1　交叉編譯的原理 26
2.3.2　iOS平臺交叉編譯的實踐 27
2.3.3　Android平臺交叉編譯的實踐 33
2.3.4　使用LAME編碼MP3文件 38
2.4　本章小結 42
第3章　FFmpeg的介紹與使用 43
3.1　FFmpeg的編譯與命令行工具的使用 43
3.1.1　FFmpeg的編譯 43
3.1.2　FFmpeg命令行工具的使用 51
3.2　FFmpeg API的介紹與使用 60
3.3　FFmpeg源碼結構 68
3.3.1　libavformat與libavcodec介紹 68
3.3.2　FFmpeg通用API分析 69
3.3.3　調(diào)用FFmpeg解碼時用到的函數(shù)分析 70
3.3.4　調(diào)用FFmpeg編碼時用到的函數(shù)分析 71
3.3.5　面向?qū)ο蟮腃語言設計 72
3.4　本章小結 74
第4章　移動平臺下的音視頻渲染 75
4.1　AudioUnit介紹與實踐 75
4.2　Android平臺的音頻渲染 84
4.2.1　AudioTrack的使用 85
4.2.2　OpenSL ES的使用 87
4.3　視頻渲染 90
4.3.1　OpenGL ES介紹 90
4.3.2　OpenGL ES的實踐 91
4.3.3　上下文環(huán)境搭建 98
4.3.4　OpenGL ES中的紋理 104
4.4　本章小結 109
第5章　實現(xiàn)一款視頻播放器 110
5.1　架構設計 110
5.2　解碼模塊的實現(xiàn) 115
5.3　音頻播放模塊的實現(xiàn) 118
5.3.1　Android平臺的音頻渲染 118
5.3.2　iOS平臺的音頻渲染 119
5.4　畫面播放模塊的實現(xiàn) 121
5.4.1　Android平臺的視頻渲染 121
5.4.2　iOS平臺的視頻渲染 122
5.5　AVSync模塊的實現(xiàn) 124
5.5.1　維護解碼線程 124
5.5.2　音視頻同步 125
5.6　中控系統(tǒng)串聯(lián)起各個模塊 127
5.6.1　初始化階段 127
5.6.2　運行階段 128
5.6.3　銷毀階段 129
5.7　本章小結 130
第6章　音視頻的采集與編碼 131
6.1　音頻的采集 131
6.1.1　Android平臺的音頻采集 131
6.1.2　iOS平臺的音頻采集 134
6.2　視頻畫面的采集 137
6.2.1　Android平臺的視頻畫面采集 137
6.2.2　iOS平臺的視頻畫面采集 146
6.3　音頻的編碼 156
6.3.1　libfdk_aac編碼AAC 156
6.3.2　Android平臺的硬件編碼器MediaCodec 158
6.3.3　iOS平臺的硬件編碼器AudioToolbox 161
6.4　視頻畫面的編碼 166
6.4.1　libx264編碼H264 166
6.4.2　Android平臺的硬件編碼器MediaCodec 172
6.4.3　iOS平臺的硬件編碼器 175
6.5　本章小結 184
第7章　實現(xiàn)一款視頻錄制應用 185
7.1　視頻錄制的架構設計 185
7.2　音頻模塊的實現(xiàn) 188
7.2.1　音頻隊列的實現(xiàn) 189
7.2.2　Android平臺的實現(xiàn) 191
7.2.3　iOS平臺的實現(xiàn) 194
7.3　音頻編碼模塊的實現(xiàn) 198
7.3.1　改造編碼器 198
7.3.2　編碼器適配器 199
7.4　畫面采集與編碼模塊的實現(xiàn) 202
7.4.1　視頻隊列的實現(xiàn) 202
7.4.2　Android平臺畫面編碼后入隊 203
7.4.3　iOS平臺畫面編碼后入隊 204
7.5　Mux模塊 205
7.5.1　初始化 206
7.5.2　封裝和輸出 208
7.5.3　銷毀資源 212
7.6　中控系統(tǒng)串聯(lián)起各個模塊 213
7.7　本章小結 214
第8章　音頻效果器的介紹與實踐 215
8.1　數(shù)字音頻基礎 215
8.1.1　波形圖 215
8.1.2　頻譜圖 217
8.1.3　語譜圖 219
8.1.4　深入理解時域與頻域 219
8.2　數(shù)字音頻處理：快速傅里葉變換 222
8.3　基本樂理知識 229
8.3.1　樂譜 229
8.3.2　音符的音高與十二平均律 231
8.3.3　音符的時值 233
8.3.4　節(jié)拍 233
8.3.5　MIDI格式 234
8.4　混音效果器 235
8.4.1　均衡效果器 236
8.4.2　壓縮效果器 239
8.4.3　混響效果器 240
8.5　效果器實現(xiàn) 243
8.5.1　Android平臺實現(xiàn)效果器 243
8.5.2　iOS平臺實現(xiàn)效果器 252
8.6　本章小結 255
第9章　視頻效果器的介紹與實踐 256
9.1　圖像處理的基本原理 256
9.1.1　亮度調(diào)節(jié) 257
9.1.2　對比度調(diào)節(jié) 258
9.1.3　飽和度調(diào)節(jié) 259
9.2　圖像處理進階 259
9.2.1　圖像的卷積過程 260
9.2.2　銳化效果器 260
9.2.3　高斯模糊算法 262
9.2.4　雙邊濾波算法 263
9.2.5　圖層混合介紹 264
9.3　使用FFmpeg內(nèi)部的視頻濾鏡 266
9.3.1　FFmpeg視頻濾鏡介紹 266
9.3.2　濾鏡圖的構建 267
9.3.3　使用與銷毀濾鏡圖 269
9.3.4　常用濾鏡介紹 270
9.4　使用OpenGL ES實現(xiàn)視頻濾鏡 272
9.4.1　加水印 273
9.4.2　添