信息論簡明教程

第1章 緒論
1.1 信息的概念及香農(nóng)信息論的發(fā)展史
1.2 香農(nóng)信息論的研究對象、目的和內(nèi)容
1.3 信息論的發(fā)展
1.4 如何學(xué)好信息論
第2章 數(shù)學(xué)基礎(chǔ)回顧
2.1 離散概率論
2.1.1 隨機(jī)事件的概率
2.1.2 條件概率、全概率公式與貝葉斯公式
2.1.3 離散型隨機(jī)變量及其分布
2.1.4 二維離散型隨機(jī)變量的聯(lián)合分布、邊緣分布和條件分布
2.1.5 離散型隨機(jī)變量函數(shù)的分布
2.1.6 離散型隨機(jī)變量的數(shù)字特征
2.2 隨機(jī)過程初步
2.2.1 隨機(jī)過程與隨機(jī)序列
2.2.2 馬爾可夫鏈
第3章 信息的度量
3.1 自信息、平均自信息和熵
3.1.1 單個(gè)隨機(jī)事件的自信息
3.1.2 單個(gè)隨機(jī)事件集合的平均自信息（隨機(jī)變量的信息熵）
3.1.3 熵函數(shù)的性質(zhì)
3.2 聯(lián)合熵與條件熵
3.2.1 兩個(gè)隨機(jī)事件的聯(lián)合自信息
3.2.2 兩個(gè)隨機(jī)事件集合（二維隨機(jī)變量）的聯(lián)合熵
3.2.3 兩個(gè)隨機(jī)事件的條件自信息
3.2.4 兩個(gè)隨機(jī)事件集合（二維隨機(jī)變量）的條件熵
3.3 互信息與平均互信息
3.3.1 兩個(gè)隨機(jī)事件的互信息
3.3.2 兩個(gè)隨機(jī)事件集合（二維隨機(jī)變量）的平均互信息
3.3.3 平均互信息的性質(zhì)
3.4 平均自信息、聯(lián)合熵、條件熵和平均互信息的數(shù)量關(guān)系
3.4.1 數(shù)量關(guān)系總結(jié)
3.4.2 數(shù)量關(guān)系的證明
3.4.3 熵的鏈規(guī)則
3.5 本章小結(jié)
習(xí)題3
第4章 信源與信源熵
4.1 信源的分類及其數(shù)學(xué)模型
4.2 離散單符號信源
4.3 離散多符號信源
4.3.1 離散平穩(wěn)無記憶信源
4.3.2 離散平穩(wěn)有記憶信源
4.3.3 馬爾可夫信源
4.3.4 信源的相關(guān)性和剩余度
4.4 連續(xù)信源簡介
4.5 本章小結(jié)
習(xí)題4
第5章 信道與信道容量
5.1 信道的分類與描述
5.1.1 信道的分類
5.1.2 信道描述
5.2 離散單符號信道及其信道容量
5.2.1 離散單符號信道的數(shù)學(xué)模型
5.2.2 信道容量的概念
5.2.3 無損信道和無噪信道的信道容量
5.2.4 離散對稱信道的信道容量
5.2.5 一般離散信道的信道容量與信道容量定理
5.3 離散多符號信道及其信道容量
5.3.1 離散多符號無記憶信道的數(shù)學(xué)模型
5.3.2 離散多符號無記憶信道的信道容量
5.4 組合信道及其信道容量
5.4.1 獨(dú)立并聯(lián)信道
5.4.2 串聯(lián)信道
5.5 連續(xù)信道及其信道容量介紹
5.6 本章小結(jié)
習(xí)題5
第6章 信源編碼初步
6.1 信源編碼的概念與分類
6.1.1 信源編碼的概念
6.1.2 信源編碼分類
6.2 無失真信源編碼
6.2.1 定長碼與定長編碼定理
6.2.2 變長碼與變長編碼定理
6.2.3 最佳變長編碼——霍夫曼編碼
6.2.4 其他無失真信源編碼介紹
6.3 本章小結(jié)
習(xí)題6
第7章 信道編碼初步
7.1 信道編碼的相關(guān)概念
7.2 有噪信道編碼定理及其逆定理
7.3 信道編碼介紹
7.3.1 線性分組碼
7.3.2 卷積碼
7.3.3 Turbo碼
7.3.4 LDPC碼
7.4 本章小結(jié)
習(xí)題7
附錄A 各章習(xí)題答案
A.1 第3章習(xí)題答案
A.2 第4章習(xí)題答案
A.3 第5章習(xí)題答案
A.4 第6章習(xí)題答案
A.5 第7章習(xí)題答案
附錄B Jensen不等式的證明
附錄C 熵的極值性的證明
附錄D 信息的凸函數(shù)性
附錄E霍夫曼編碼的編程實(shí)現(xiàn)
參考文獻(xiàn)