信息論――經(jīng)典與現(xiàn)代

目錄
第1章 緒論 1
1．1 從通信談起 1
1．2 模擬通信與數(shù)字通信 2
1．3 信息論的誕生――香農(nóng)1948年發(fā)表的論文 3
1．4 什么是信息 4
1．5 信息論的研究?jī)?nèi)容 5
習(xí)題 7
第2章 離散信源和離散熵 8
2．1 信源的數(shù)學(xué)模型及分類(lèi) 8
2．2 離散熵 9
2．3 離散熵的性質(zhì) 12
2．4 二維信源的聯(lián)合熵和條件熵 13
2．5 平均互信息 15
2．5．1 兩個(gè)隨機(jī)變量的平均互信息 15
2．5．2 多個(gè)隨機(jī)變量的平均互信息 17
2．6 離散平穩(wěn)信源的熵率 18
2．7 馬爾可夫信源 21
2．7．1 馬爾可夫鏈 21
2．7．2 馬爾可夫信源 23
2．8 本章小結(jié) 25
習(xí)題 25
第3章 離散無(wú)失真信源編碼 28
3．1 信源編碼的基本概念 28
3．1．1 信源編碼的兩種策略 28
3．1．2 信源編碼的分類(lèi) 29
3．2 漸近等分割性定理 30
3．3 等長(zhǎng)信源編碼 33
3．4 變長(zhǎng)信源編碼 35
3．5 離散信源編碼方法 39
3．5．1 Huffman編碼 39
3．5．2 Fano編碼 42
3．5．3 香農(nóng)編碼 43
3．5．4 算術(shù)編碼 44
3．6 本章小結(jié) 46
習(xí)題 46
第4章 離散信道和信道容量 48
4．1 信道的數(shù)學(xué)模型 48
4．1．1 信道的分類(lèi) 48
4．1．2 信道的數(shù)學(xué)模型 49
4．2 平均互信息的凸性 50
4．3 信道容量 52
4．3．1 一般離散信道的信道容量 55
4．3．2 對(duì)稱(chēng)信道的信道容量 60
4．4 多符號(hào)信道和并聯(lián)信道 62
4．5 串聯(lián)信道和數(shù)據(jù)處理定理 64
4．6 本章小結(jié) 65
習(xí)題 66
第5章 有噪信道編碼 69
5．1 單符號(hào)離散信道的譯碼規(guī)則 69
5．2 如何降低譯碼錯(cuò)誤概率 73
5．3 譯碼錯(cuò)誤概率和信息傳輸率的折中 76
5．4 信道編碼 80
5．5 聯(lián)合漸近等分割性定理和香農(nóng)第二定理 82
5．6 信源信道分離編碼 88
5．7 本章小結(jié) 89
習(xí)題 90
第6章 波形信源和波形信道 92
6．1 隨機(jī)過(guò)程基礎(chǔ) 92
6．1．1 信號(hào)的分類(lèi) 92
6．1．2 隨機(jī)過(guò)程 93
6．1．3 隨機(jī)波形信源 96
6．2 連續(xù)型隨機(jī)變量的微分熵 96
6．2．1 連續(xù)型隨機(jī)變量 96
6．2．2 微分熵 99
6．2．3 微分熵的性質(zhì) 102
6．2．4 最大熵分布 103
6．3 連續(xù)信道和波形信道 104
6．3．1 連續(xù)信道和波形信道的分類(lèi) 104
6．3．2 連續(xù)加性信道的轉(zhuǎn)移概率密度函數(shù) 104
6．3．3 連續(xù)信道和波形信道的信道容量 106
6．4 高斯信道 106
6．4．1 高斯信道與離散信道 107
6．4．2 高斯信道的信道容量 109
6．4．3 限帶AWGN信道的信道容量 111
6．5 香農(nóng)公式 112
6．5．1 增加信道容量的兩種方法 112
6．5．2 Eb/N0和香農(nóng)限 112
6．6 本章小結(jié) 114
習(xí)題 115
第7章 率失真理論 116
7．1 量化失真 117
7．2 失真度與率失真函數(shù) 117
7．3 率失真函數(shù)的定義域 121
7．4 率失真函數(shù)的性質(zhì) 125
7．5 率失真函數(shù)的計(jì)算 126
7．5．1 離散信源率失真函數(shù)的計(jì)算 126
7．5．2 連續(xù)信源率失真函數(shù)的計(jì)算 132
7．6 保真度準(zhǔn)則下的信源編碼定理 136
7．7 本章小結(jié) 136
習(xí)題 137
第8章 線性分組碼 139
8．1 線性分組碼的一般理論 140
8．1．1 基本概念 140
8．1．2 G矩陣和H矩陣 141
8．1．3 伴隨式 144
8．1．4 檢錯(cuò)和糾錯(cuò) 144
8．1．5 標(biāo)準(zhǔn)陣譯碼和伴隨式譯碼 147
8．1．6 線性分組碼的幾何解釋和檢錯(cuò)、糾錯(cuò)能力 149
8．2 漢明碼（Hamming Code） 150
8．3 本章小結(jié) 152
習(xí)題 153
第9章 循環(huán)碼 155
9．1 基本概念 155
9．2 循環(huán)碼的多項(xiàng)式表示法 155
9．3 循環(huán)碼的G矩陣和H矩陣 159
9．4 系統(tǒng)循環(huán)碼 160
9．5 循環(huán)碼的編碼 161
9．6 循環(huán)碼的譯碼 162
9．6．1 梅吉特譯碼 163
9．6．2 捕錯(cuò)譯碼 165
9．6．3 大數(shù)邏輯譯碼 166
9．7 本章小結(jié) 167
習(xí)題 167
第10章 卷積碼 168
10．1 一般概念 168
10．2 卷積碼的多項(xiàng)式表示 173
10．3 卷積碼的狀態(tài)圖表示 174
10．4 卷積碼的網(wǎng)格圖表示 175
10．5 維特比譯碼 176
10．6 本章小結(jié) 178
習(xí)題 179
第11章 多用戶(hù)信息論 180
11．1 相關(guān)信源編碼 180
11．2 具有邊信息的信源編碼 183
11．3 多址接入信道 183
11．4 廣播信道 186
11．5 中繼信道 187
11．6 本章小結(jié) 188
習(xí)題 189
第12章 現(xiàn)代網(wǎng)絡(luò)信息論 190
12．1 網(wǎng)絡(luò)編碼基本思想 191
12．2 網(wǎng)絡(luò)編碼的概念 193
12．3 線性網(wǎng)絡(luò)編碼 195
12．3．1 確定網(wǎng)絡(luò)編碼 195
12．3．2 隨機(jī)網(wǎng)絡(luò)編碼 199
12．4 本章小結(jié) 200
習(xí)題 201
第13章 網(wǎng)絡(luò)容量域 202
13．1 網(wǎng)絡(luò)流 202
13．2 網(wǎng)絡(luò)容量域 203
13．3 均勻分?jǐn)?shù)網(wǎng)絡(luò) 205
13．4 路由容量域 206
13．4．1 多重單播路由網(wǎng)絡(luò)容量域 207
13．4．2 一重組播路由網(wǎng)絡(luò)容量域 210
13．4．3 二重混合路由網(wǎng)絡(luò)容量域 218
13．5 編碼容量域 221
13．5．1 編碼容量域的理論解 221
13．5．2 編碼容量域的割集限 223
13．6 本章小結(jié) 226
習(xí)題 226
附錄A 有限域 227
A．1 集合 227
A．1．1 集合的定義 227
A．1．2 集合的運(yùn)算 228
A．1．3 映射 230
A．1．4 代數(shù)系統(tǒng) 231
A．2 群 231
A．2．1 群的定義 231
A．2．2 陪集和拉格朗日定理 233
A．3 環(huán) 233
A．3．1 環(huán)的定義 233
A．3．2 整環(huán) 235
A．3．3 多項(xiàng)式環(huán) 236
A．4 域 237
A．4．1 域的定義 237
A．4．2 擴(kuò)域 240
A．4．3 GF(2) 244
A．5 小結(jié) 246
附錄B 向量空間 247
附錄C 矩形博弈 249
附錄D 信息不等式 253
D．1 從集合論視角看待信息量 253
D．2 熵空間和原子空間 257
D．3 信息不等式 261
D．4 元形式香農(nóng)信息度量 263
D．5 和 266
D．6 267
習(xí)題答案 269
參考文獻(xiàn) 295