內容簡介
本書重點介紹瞭香農信息論和編碼理論的基本原理及其應用。在保持一定理論深度的基礎上,盡可能地簡化繁雜的公式、定理的證明,采用較多的例題和圖示來展示基本概念和原理的應用。敘述上力求概念清楚、重點突齣、深入淺齣、通俗易懂,內容上力求科學性、先進性、係統性與實用性的統一。
本書共9章,內容包括:緒論、信息的統計度量、離散信源和熵、無失真信源編碼、離散信道和信道容量、有噪信道編碼、連續信源和連續信道、限失真信源編碼和網絡信息論初步。
本書可作為高等院校電子信息工程、通信工程等相關專業的本科生教材,也可作為相關領域中教學與科研人員和工程技術人員的參考用書。
內頁插圖
目錄
目 錄
第1章 緒論 1
1.1 信息的概念 1
1.1.1 什麼是“信息” 1
1.1.2 如何度量“信息” 2
1.2 信息傳輸係統 3
1.2.1 信息傳輸係統模型 3
1.2.2 信息傳輸係統的性能指標 6
1.3 信息論的研究內容 7
1.3.1 基本信息論的研究內容 7
1.3.2 一般信息論的研究內容 7
1.3.3 廣義信息論的研究內容 8
1.4 信息論和編碼理論的形成和發展 8
習題 10
第2章 信息的統計度量 11
2.1 隨機變量的統計特性 11
2.1.1 隨機變量的分類及其描述 11
2.1.2 信源的統計特性 14
2.1.3 信道的傳輸特性 15
2.2 離散隨機變量的自信息和信息熵 18
2.2.1 自信息量 18
2.2.2 信息熵 19
2.2.3 信息熵的性質 21
2.3 離散隨機變量的聯閤自信息和聯閤熵 22
2.3.1 聯閤自信息 22
2.3.2 聯閤熵 23
2.4 離散隨機變量的條件自信息和條件熵 24
2.4.1 條件自信息 24
2.4.2 條件熵 25
2.4.3 各類熵之間的關係 26
2.5 離散隨機變量的互信息和平均互信息 29
2.5.1 互信息 29
2.5.2 互信息的性質 30
2.5.3 平均互信息 31
2.5.4 平均互信息的性質 33
2.5.5 平均互信息與各類熵之間的關係 36
2.5.6 聯閤互信息和條件互信息 37
2.5.7 信息處理定理 38
2.6 連續隨機變量的信息度量 39
2.6.1 連續隨機變量的熵 39
2.6.2 連續隨機變量的平均互信息 42
本章小結 43
習題 44
第3章 離散信源和熵 49
3.1 離散信源的分類 49
3.2 離散信源的N次擴展信源 50
3.2.1 N次擴展信源的數學模型 50
3.2.2 離散信源的N次擴展信源的熵 51
3.2.3 離散無記憶信源的N次擴展信源的熵 51
3.3 離散平穩信源 53
3.3.1 離散平穩信源的數學定義 53
3.3.2 有限維離散平穩信源的條件熵 54
3.3.3 二維離散平穩信源的平均符號熵 56
3.3.4 離散平穩信源的極限熵 57
3.3.5 計算極限熵的處理方法 59
3.4 馬爾可夫信源 60
3.4.1 馬爾可夫信源的描述 60
3.4.2 齊次遍曆的馬爾可夫信源 62
3.4.3 齊次遍曆馬爾可夫信源的極限熵 64
3.5 信源的相關性和剩餘度 68
本章小結 70
習題 71
第4章 無失真信源編碼 74
4.1 信源編碼的基本概念 74
4.1.1 信源編碼的數學模型 74
4.1.2 信源編碼的分類 75
4.1.3 唯一可譯碼和即時碼 76
4.1.4 編碼效率 79
4.2 無失真信源編碼定理 81
4.2.1 無失真定長信源編碼定理 81
4.2.2 無失真變長信源編碼定理 86
4.3 常見的無失真信源編碼方法 87
4.3.1 香農(Shannon)碼 88
4.3.2 霍夫曼(Huffman)碼 89
4.3.3 費諾(Fano)碼 96
4.3.4 香農-費諾-埃利斯碼 97
4.3.5 算術碼 99
4.3.6 LZ碼 104
本章小結 106
習題 107
第5章 離散信道和信道容量 110
5.1 離散信道的分類 110
5.2 離散信道的數學模型 111
5.3 信道容量 113
5.3.1 信道的信息傳輸率 113
5.3.2 信道容量的定義 114
5.4 單符號離散信道及其信道容量 116
5.4.1 典型信道的信道容量 116
5.4.2 串聯信道及其信道容量 120
5.4.3 一般離散信道的信道容量 121
5.4.4 信道容量的迭代算法 128
5.5 多符號離散信道及其信道容量 134
5.5.1 多符號離散信道的平均互信息 134
5.5.2 離散無記憶信道的信道容量 135
5.5.3 獨立並聯信道及其信道容量 136
5.6 信源與信道的匹配 136
本章小結 137
習題 138
第6章 有噪信道編碼 141
6.1 錯誤概率 141
6.1.1 錯誤概率和譯碼規則 141
6.1.2 錯誤概率與編碼方法 145
6.2 有噪信道編碼定理 146
6.3 聯閤信源信道編碼定理 148
6.4 信道編碼的基本概念 150
6.4.1 信道編碼的分類 150
6.4.2 綫性分組碼的檢錯和糾錯能力 151
6.4.3 最小漢明距離譯碼 153
6.4.4 差錯控製的三種方式 154
6.4.5 差錯控製的途徑 154
6.5 綫性分組碼 155
6.5.1 綫性分組碼的編碼 156
6.5.2 綫性分組碼的譯碼 162
6.5.3 完備碼和漢明碼 167
6.5.4 對偶碼 168
6.5.5 擴展碼、縮短碼和刪信碼 169
6.6 循環碼 171
6.6.1 循環碼的碼多項式 172
6.6.2 循環碼的生成多項式和生成矩陣 173
6.6.3 循環碼的監督多項式和監督矩陣 176
6.6.4 循環碼的編碼電路 178
6.6.5 循環碼的伴隨式 180
6.6.6 循環碼的譯碼電路 183
6.6.7 CRC碼 186
6.7 BCH碼和RS碼 187
6.7.1 有限域的基本知識 187
6.7.2 二元BCH碼 196
6.7.3 多元BCH碼和RS碼 201
6.8 捲積碼 203
6.8.1 捲積碼的解析錶示 203
6.8.2 捲積碼的圖形描述 210
6.8.3 捲積碼的譯碼方法 211
6.8.4 捲積碼的特性 214
6.8.5 刪餘捲積碼 215
6.8.6 遞歸型係統捲積碼 216
6.9 交織碼 217
6.10 級聯碼 218
6.11 Turbo碼 219
6.11.1 Turbo編碼 219
6.11.2 Turbo譯碼 220
6.12 LDPC碼 225
本章小結 226
習題 228
第7章 連續信源和連續信道 233
7.1 連續信源和波形信源的信息度量 233
7.1.1 一維連續信源的熵 233
7.1.2 多維連續信源的熵 234
7.1.3 波形信源的熵率 236
7.2 連續信源的最大熵 237
7.2.1 峰功率受限的連續信源 238
7.2.2 平均功率受限的連續信源 238
7.2.3 連續信源的熵功率 240
7.3 連續信源熵的變換 241
7.4 波形信道的分類和處理方法 242
7.4.1 波形信道的分類 242
7.4.2 波形信道的處理方法 243
7.5 連續信道的平均互信息 244
7.5.1 連續信道 244
7.5.2 加性信道 245
7.6 連續信道的信道容量 246
7.6.1 一維高斯加性信道 247
7.6.2 多維無記憶高斯加性信道 248
7.7 波形信道的信道容量 250
7.7.1 限帶AWGN信道的容量 250
7.7.2 香農公式的討論 251
7.8 連續信道編碼定理 253
本章小結 254
習題 255
第8章 限失真信源編碼 258
8.1 失真測度 258
8.1.1 失真函數 259
8.1.2 平均失真 262
8.1.3 保真度準則 262
8.2 信息率失真函數 263
8.2.1 信息率失真函數的定義 264
8.2.2 R(D)函數的性質 264
8.2.3 常見信源的R(D)函數 267
8.3 限失真信源編碼定理 268
8.4 R(D)函數的計算 270
8.4.1 R(D)函數的參量錶示法 270
8.4.2 離散對稱信源的R(D)函數 273
8.5 聯閤限失真信源信道編碼定理 278
本章小結 280
習題 280
第9章 網絡信息論初步 283
9.1 網絡信源 283
9.2 網絡信道 285
9.2.1 多址接入信道 285
9.2.2 廣播信道 287
9.3 網絡信源和網絡信道的聯閤/分離 288
9.4 網絡編碼 289
9.4.1 網絡編碼原理 289
9.4.2 綫性網絡編碼原理 290
9.4.3 網絡編碼的優勢 291
9.5 協作通信 292
9.5.1 中繼網絡中協作策略及其容量 294
9.5.2 多中繼高斯信道的容量 296
附錄A 詹森不等式及其應用 299
A1 詹森不等式 299
A2 利用詹森不等式證明的性質和定理 299
附錄B 信息度量的常用公式 305
參考文獻 308
前言/序言
信息論與編碼 下載 mobi epub pdf txt 電子書 格式