信息論基礎

第1章 緒論
1.1 信息的概念
1.2 通信系統(tǒng)模型
習題
第2章 離散信息的度量
2.1 概率論基本知識
2.1.1 樣本空間與隨機事件
2.1.2 概率的有關(guān)概念
2.1.3 全概率公式和貝葉斯公式
2.1.4 先驗概率和后驗概率
2.1.5 離散隨機變量
2.1.6 離散隨機變量的統(tǒng)計特性
2.2 信息度量方法的引入
2.3 自信息量和信息熵
2.3.1 自信息量的定義與含義
2.3.2 信息熵的定義與含義
2.4 聯(lián)合自信息量與聯(lián)合熵
2.4.1 聯(lián)合自信息量
2.4.2 聯(lián)合熵
2.5 互信息量與平均互信息量
2.5.1 條件自信息量
2.5.2 條件熵
2.5.3 互信息量的定義
2.5.4 互信息量性質(zhì)
2.5.5 平均互信息量
2.6 熵的性質(zhì)以及各種熵之間的關(guān)系
2.6.1 信息熵的性質(zhì)
2.6.2 各種熵之間的關(guān)系
習題
第3章 離散信源及信源熵
3.1 隨機過程基本知識
3.1.1 概率空間
3.1.2 隨機過程
3.2 信源的數(shù)學模型和分類
3.2.1 信源的數(shù)學模型
3.2.2 信源分類
3.3 離散單符號信源
3.3.1 離散單符號信源的概念和數(shù)學模型
3.3.2 離散單符號信源的信息度量
3.4 離散多符號信源
3.4.1 離散平穩(wěn)信源的性質(zhì)
3.4.2 常見的離散平穩(wěn)信源
3.4.3 離散多符號信源的信源熵
3.4.4 離散平穩(wěn)無記憶信源
3.4.5 離散平穩(wěn)有記憶信源
3.4.6 一維離散平穩(wěn)信源的信源熵
3.5 馬爾可夫信源
3.5.1 有限狀態(tài)馬爾可夫鏈
3.5.2 齊次馬爾可夫鏈及其平穩(wěn)分布
3.5.3 齊次馬爾可夫信源
3.5.4 m階齊次馬爾可夫信源
3.6 信源的相關(guān)性和剩余度
3.6.1 信源的相關(guān)性
3.6.2 信源剩余度
習題
第4章 離散信道及其容量
4.1 信道的數(shù)學模型及其分類
4.1.1 信道的基本概念和研究方法
4.1.2 信道的數(shù)學模型
4.1.3 信道的分類
4.2 離散無記憶信道
4.2.1 離散信道的數(shù)學模型
4.2.2 單符號離散信道
4.2.3 信道疑義度
4.3 離散信道中平均互信息量定理
4.3.1 固定信道的平均互信息量上凸函數(shù)定理
4.3.2 固定信源的平均互信息量下凸函數(shù)定理
4.4 離散無記憶擴展信道
4.4.1 離散無記憶擴展信道的定義
4.4.2 離散無記憶N次擴展信道的數(shù)學模型
4.4.3 多符號信道平均互信息量定理
4.4.4 N次擴展信道平均互信息量定理
4.5 信道容量
4.5.1 信道中平均互信息量的含義
4.5.2 信道容量的概念
4.5.3 離散無噪信道的信道容量
4.5.4 離散對稱信道的信道容量
4.5.5 一般離散信道的信道容量
4.5.6 離散無記憶N次擴展信道的信道容量
習題
第5章 無失真信源編碼
5.1 信源編碼的相關(guān)概念
5.1.1 無失真信源編碼的數(shù)學模型
5.1.2 信源編碼的分類
5.1.3 即時碼存在定理和構(gòu)造方法
5.2 定長碼及定長編碼定理
5.2.1 可譯定長碼存在的一般條件
5.2.2 定長編碼定理
5.3 變長碼和變長碼定理
5.3.1 Kraft不等式和McMillan不等式
5.3.2 可譯碼的判別準則
5.3.3 緊致碼平均碼長界限定理
5.3.4 香農(nóng) 定理(無失真變長信源編碼定理)
5.4 變長碼的編碼方法
5.4.1 香農(nóng)編碼
5.4.2 香農(nóng)-費諾-埃利斯編碼
5.4.3 二元霍夫曼編碼
5.4.4 r元霍夫曼編碼
習題
第6章 有噪信道編碼
6.1 信道編碼的基本概念
6.1.1 編碼信道
6.1.2 錯誤概率的影響因素分析
6.1.3 譯碼規(guī)則
6.2 錯誤概率與編碼方法
6.2.1 簡單重復編碼降低平均錯誤概率
6.2.2 消息符號個數(shù)
6.2.3 (5,2)線性碼
6.3 有噪信道編碼定理
6.3.1 香農(nóng)第二定理
6.3.2 有噪信道編碼逆定理
6.3.3 錯誤概率的上界
習題頻
第7章 限失真信源編碼
7.1 失真測度
7.1.1 試驗信道
7.1.2 失真函數(shù)
7.1.3 平均失真
7.2 信息率失真函數(shù)
7.2.1 保真度準則與允許信道
7.2.2 信息率失真函數(shù)的定義
7.3 信息率失真函數(shù)的性質(zhì)
7.3.1 定義域
7.3.2 R(D)是D的下凸函數(shù)
7.3.3 R(D)是嚴格遞減函數(shù)
7.3.4 R(D)的典型曲線
7.4 信息率失真函數(shù)的計算
7.4.1 參量表示法求解R(D)
7.4.2 參量表示法求解R(D)例題
7.5 限失真信源編碼定理和逆定理
7.5.1 限失真信源編碼定理(香農(nóng)第三定理)
7.5.2 限失真信源編碼逆定理
習題
第8章 連續(xù)信源和連續(xù)信道
8.1 連續(xù)隨機變量的基礎知識
8.1.1 連續(xù)隨機變量與概率密度函數(shù)
8.1.2 聯(lián)合概率密度函數(shù)與邊緣概率密度函數(shù)
8.1.3 隨機變量和的概率密度函數(shù)
8.2 連續(xù)信源的分類和統(tǒng)計特性
8.2.1 連續(xù)信源的分類
8.2.2 連續(xù)信源的統(tǒng)