信息论基础与应用/高等学校电子信息类专业系列教材 下载 mobi epub pdf 电子书 2024

☆☆☆☆☆
简体网页||繁体网页



点击这里下载

类似图书 点击查看全场最低价

---

编辑推荐

　　信息论是信息科学*成熟、*完善的一部分，它与其他学科交叉融合，促进了许多新兴学科的发展。本书从信息论的基本理论出发，全面论述了香农信息论的基本理论与方法，并进一步介绍了信息论在网络信息理论和量子信息理论中的应用。本书特点如下：

　　(1)遵循电子信息类专业的教学要求，力求全面涵盖信息论课程教学知识点要求，并反应信息论的*新发展；

　　(2)简化数学公式推导过程，重点突出通信与信息的基本概念，强调信息论在通信中的具体应用；

　　(3)配套提供了丰富的实验案例，并编写相应的MATLAB仿真程序，方便开展实践教学环

　　(4)本书配有电子教案（PPT）与MATLAB仿真程序，下载地址为清华大学出版社网站本书页面。

内容简介

信息论是信息科学*成熟、*完善的一部分，它与其他学科的交叉和融合，促进了许多新兴学科的发展。本书从信息论的基本理论出发，介绍香农信息论的基本理论和方法，及其在网络信息理论和量子信息理论中的应用。全书共7章，在介绍有关信息度量的基础上，重点讨论信源与信息熵、信道与信道容量、无噪信道编码理论、含噪信道编码理论、网络信息理论和量子信息理论。
本书由浅入深、深入浅出，具有系统性、交叉性和前沿性等特点； 书中联系实际通信系统，使用较多的例题和图示阐述重要的基本概念，结合MATLAB代码实例展现信息论的实用性； 各章均附有一定量的习题，便于读者加深对概念和原理的理解。
本书可作为理工类高等院校信息工程、通信工程及相关专业的本科教材，也可供对信息科学感兴趣的各类人员参考。

作者简介

赵生妹，教授、博士、博士生导师，现为江苏省普通高校“青蓝工程”学术带头人，南京邮电大学信号与信息处理专业学术带头人，南京邮电大学“1311人才计划”创新团队负责人，南京邮电大学“教学名师”，中国通信学会高级会员。研究方向为无线网络中的信号处理、量子信息处理。长期从事“信息论基础”与“量子信息处理”方向的科研工作，并讲授“信息论基础”“Elements of information theory”“量子信息处理技术”等课程。在国内外重要学术期刊和国际会议上发表论文150多篇，SCI期刊论文他引达200多次（包括Nature Photonics、Nature Communications等）。主讲“信息论与编码”课程被评为“江苏省普通高等学校精品课程”，负责完成的“信息论基础”课程多媒体课件（配套教学网站）荣获“江苏省高等学校优秀多媒体教学课件一等奖”。编著出版了两本图书——《量子信息处理技术》与《信息论基础与应用》。

目录

第1章绪论

1.1什么是信息

1.2什么是信息论

1.2.1信息论的早期酝酿

1.2.2信息论的建立与发展

1.2.3信息论的近期发展

1.3通信系统的基本模型

1.4信息论的应用及成果

1.5信息论研究范畴

习题1

第2章信源与信息熵

2.1预备知识

2.1.1概率

2.1.2古典概型

2.1.3概率性质

2.2信源的描述和分类

2.2.1离散单符号信源

2.2.2离散无记忆序列信源

2.2.3离散有记忆序列信源

2.2.4连续信源

2.3离散单符号信源的熵与互信息

2.3.1自信息量

2.3.2离散单符号信源熵

2.3.3信息熵的基本性质

2.3.4互信息量

2.3.5平均互信息量

2.3.6平均互信息量的性质

2.4离散序列信源的熵与互信息

2.4.1离散平稳信源的序列熵和熵率

2.4.2马尔可夫信源及其极限熵

2.5信源的相关性和冗余度

2.6连续信源的熵与互信息

2.6.1连续信源的相对熵

2.6.2连续信源最大熵定理

2.6.3连续信源的互信息

2.7熵计算及熵应用

2.7.1熵计算

2.7.2熵信息应用

习题2

第3章信道与信道容量

3.1信道分类和参数表示

3.2离散单符号信道及其容量

3.2.1信道容量定义

3.2.2离散单符号无噪信道及其容量

3.2.3离散单符号有噪信道及其容量

3.3离散序列信道及其容量

3.3.1并联信道

3.3.2和信道

3.3.3扩展信道

3.4连续信道及其容量

3.4.1时间离散信道及其容量

3.4.2时间连续信道及其容量

3.5信道容量计算及MATLAB程序实现

3.5.1信道容量的MATLAB计算

3.5.2MIMO信道容量

习题3

第4章无噪信道编码理论

4.1信源编码的基本概念

4.1.1编码的定义

4.1.2码的分类

4.1.3码树

4.2无失真信源编码定理

4.2.1典型序列和ε典型序列

4.2.2无失真定长编码定理

4.2.3无失真变长编码定理

4.3限失真信源编码定理

4.3.1失真测度

4.3.2信息率失真函数R(D)

4.3.3离散信源和连续信源的R(D)计算

4.3.4限失真信源编码定理

4.4信源编码方法

4.4.1无失真信源编码方法

4.4.2限失真信源编码方法

4.5无噪信道编码MATLAB计算实现

4.5.1率失真函数的MATLAB计算实现

4.5.2编码方法的MATLAB实现

习题4

第5章含噪信道编码理论

5.1最佳译码准则

5.2信道编码基本概念

5.2.1错误图样

5.2.2矢量空间和码矢量

5.2.3码距与纠检错能力

5.3含噪离散信道编码定理

5.3.1有噪信道编码定理

5.3.2有噪信道编码逆定理

5.4信道编码方法

5.4.1线性分组码

5.4.2循环码

5.4.3卷积码

5.5信道编码MATLAB计算实现

5.5.1RS码

5.5.2Turbo码

5.5.3LDPC码

习题5

第6章网络信息理论

6.1相关信源及可达速率区

6.2多址接入信道及其容量

6.2.1离散二址接入信道及其容量

6.2.2高斯加性二址接入信道及其容量区域

6.2.3离散多址接入信道及其容量区域

6.3广播信道及其容量

6.3.1退化离散广播信道的容量界限

6.3.2退化连续高斯广播信道的容量界限

精彩书摘

　　第3章

　　CHAPTER3

　　信道与信道容量

　　信道是指信息传递的通道，通常将信源的输出至信宿的接收部分称为信道(channel)。信道的基本任务是以信号方式传输和存储信息。研究信道的主要目的是研究信道中能够传送或存储的最大信息量，即信道容量(capacity)。

　　本章采用与第2章相似的方式描述信道。首先对信道进行分类，并给出其对应的数学描述。从最简单的离散单符号信道出发，讨论离散信道的统计特性和数学模型，定量地给出信道传输速率的最大值，推导出信道容量及其计算方法。在此基础上，推广至离散序列信道及其容量计算方法、连续信道及其容量计算方法，介绍著名的香农信道容量公式，探讨多输入多输出(MIMO)系统的信道容量区域。

　　3.1信道分类和参数表示

　　信道是载荷信息的信号所通过的通道或媒介。例如，在二人对话系统中，二人之间的空气就是信道；再例如常见的电话线就是信道；当我们看电视、听收音机时，发送与接收无线信号之间的自由空间也是信道。在信息系统中，信道的主要作用是传输与存储信息，而在通信系统中则主要是传输信息，这里我们讨论后者。在通信系统中研究信道的主要目的是为了描述、度量并分析不同类型信道，计算其容量即理论上的极限传输能力。

　　实际通信系统中，信道的种类有很多种描述，可以用不同的方式进行表达。例如，可按传输媒介的类型进行划分。根据传输媒介的类型可将信道划分为有线信道和无线信道。在有线信道中，传输媒介可以是固体介质，也可以是混合介质。对于固体介质，它包含架空线和电缆等；对于混合介质，它包含波导和光缆等。这样的信道划分可用图3��1表示。

　　图3��1基于传输媒介类型的信道划分

　　除此之外，信道也可按照信道的信号与干扰的类型进行分类，具体描述如图3��2所示。

　　图3��2基于信号与干扰类型的信道划分

　　在图3��2中，离散信道是指输入空间X和输出空间Y均为离散事件集；连续信道是指输入空间X和输出空间Y都是连续事件集；半离散或半连续信道是指输入和输出空间中，一个是离散集，另一个是连续集的情形。

　　根据信道的物理性质，如统计特性，也可将信道划分为恒参信道和变参信道。其中，恒参信道是指信道的统计特性不随时间变化(如有线信道、微波接力信道和卫星中继信道等)；变参信道是指信道的统计特性随时间变化而变化(如短波通信)。最后，按用户类型可分为两端信道(单用户信道)和多端信道(多用户信道)。其中，两端信道是指信道的输入和输出都只有一个事件集，它是只有一个输入端和一个输出端的单向通信的信道；多端信道是指信道的输入和输出至少有两个或两个以上的事件集，即三个或更多个用户之间相互通信的情况。

　　实际上，就通信系统而言，可以根据不同的研究对象、不同的要求，对信道进行不同形式的划分，具体信道划分如图3��3所示。

　　图3��3通信系统中不同形式的信道划分

　　在图3��3中，CAB为狭义的传输型信道，在研究调制解调理论或模拟通信时常引用，是一连续信道；CCD为广义的传输型信道，在研究数字通信以及编码解码时常引用，是一离散信道；CCB是一类半离散半连续信道，例如可以看作是数字解调前的信道；CAD是一类半连续半离散信道。上述分类中，最常用的是前两类信道，一般又称为连续的调制信道和离散的编码信道。

　　在第2章中我们已经知道，信源的输出在数学上可表示为一随机过程，信道的作用是将信源输出变为信宿的输入(信宿的输入在数学上也可表示为一随机过程)，因此，信道可认为是从一随机过程向另一随机过程的转移。由于信道存在噪声，信道的输入和输出之间一般不是确定的函数关系，而是统计关系。统计上而言，只要知道信道的输入、输出，以及它们之间的统计依赖关系，那么就能确定信道特性。一般而言，信道的输入和输出信号是广义时间连续随机信号，可用随机过程来描述。无论何种随机过程，只要有某种限制(如限频和限时)，就可展开成时间(或空间)上离散的随机序列。由于实际信道的带宽总是有限制的，所以输入信号和输出信号总可以展开成随机序列来研究。而随机序列中每个随机变量的取值可以是可数的离散值，也可以是不可数的连续值。因此，类似于对信源的统计描述，信道的描述包括三个基本要素，分别如下：

　　(1)信道输入统计概率空间［X,p(X)］T；

　　(2)信道输出统计概率空间［Y,p(Y)］T；

　　(3)信道本身的统计特性，即转移概率矩阵p(y|x)。

　　以上三要素构成了对信道整体的描述

　　{［X,p(X)］T,p(y|x),［Y,p(Y)］T}(3.1.1)

　　简记为{X,p(y|x),Y}。

　　图3��4离散单符号信道模型描述

　　【例3��1】求离散单符号信道描述。

　　解：离散单符号信道如图3��4所示，可以描述为

　　X

　　p(X)=x1x2…xl…xn

　　p1p2…pl…pn

　　Y

　　p(Y)=y1y2…yl…ym

　　p1p2…pl…pm

　　其中，xi∈X={x1,x2,…,xn}，yj∈Y={y1,y2,…,ym},其信道转移概率矩阵为

　　P=p(y1|x1)…p(ym|x1)

　　�螵鳓�

　　p(y1|xn)…p(ym|xn)

　　根据信道的统计特性，即条件转移概率的不同，离散信道又分成三种类型。

　　1)无干扰(无噪)信道

　　信道中没有随机性的干扰或者干扰很小，输出信号Y与输入信号X之间有确定的对应关系，其数学表述为

　　y=f(x)

　　P(y|x)=1y=f(x)

　　0y≠f(x)(3.1.2)

　　2)有干扰无记忆信道

　　在实际应用中，信道通常有干扰(噪声)，即输出符号与输入符号之间无确定的对应关系，而是一般的概率分布。若信道任一时刻输出符号只统计依赖于对应时刻的输入符号，而与非对应时刻的输入符号及其他任何时刻的输出符号都无关，则称这种信道为无记忆信道。数学上，满足离散无记忆信道的充要条件是信道联合条件转移概率可表示为每个符号转移概率的乘积，即

　　p(y|x)=p(y1y2…yL|x1x2…xL)=∏Ll=1p(yl|xl)(3.1.3)

　　对于有干扰无记忆信道，存在多种类型，输入可以是离散的和连续的，输出也可以是离散的和连续的；当输入是序列时，则又可分为无记忆序列和有记忆序列。但是，常用的有干扰无记忆信道可归纳为四种类型，它们分别是二进制离散对称信道、离散无记忆信道、离散输入连续输出信道和连续输入连续输出的波形信道。

　　(1)二进制离散对称信道(BinarySymmetricChannel,BSC)，如图3��5所示。

　　其中，信道输入X∈{0,1},信道输出Y∈{0,1}，信道转移概率为P(Y=0|X=1)=P(Y=1|X=0)=p，P(Y=1|X=1)=P(Y=0|X=0)=1-p。由于信道输入和信道输出是离散二进制符号，信道转移概率也可用如下信道矩阵表示：

　　P=1-pp

　　p1-p(3.1.4)

　　该矩阵中每行都是第一行的置换，每列都是第一列的置换，是一对称矩阵，因此被称为二进制对称信道。

　　(2)离散无记忆信道(DiscreteMemorylessChannel,DMC)是更为一般的离散单符号信道，如图3��6所示。

　　图3��5BSC信道

　　图3��6DMC信道

　　图中，信道输入为X∈{x0，x2，…，xi，…，xq－1}，信道输出为Y∈{y0，y2，…，yj，…，yQ－1}，信道转移概率为p(Y=yj|X=xi)=p(yj|xi)。对于离散无记忆信道，其信道矩阵为

　　P=p00p10…p(Q－1)0

　　p01p11…p(Q－1)1

　　……�鳌�

　　p0(q－1)p1(q－1)…p(Q－1)(q－1)(3.1.5)

　　其中，pji=p(yj|xi)，且∑jp(yj|xi)=1,�衖=0,…,q－1，称为信道传递函数(又称前向概率)，通常用它描述信道的噪声特性。BSC信道是最简单的DMC信道。

　　值得说明的是：由信道的输入概率分布和信道矩阵，可计算出输入输出随机变量的联合概率分布，即贝叶斯公式：

　　p(xiyj)=p(xi)p(yj|xi)=p(yj)p(xi|yj)(3.1.6)

　　其中，p(xi|yj)是已知信道输出符号为yj时输入符号为xi的概率，称为后验概率。有时把p(xi)称为输入符号的先验概率，表示在接收到输出符号之前判断输入符号为xi的概率；而对应地把p(xi|yj)称为输入符号的后验概率，表示接收到输出符号yj之后，判断输入符号为xi的概率。同时由全概率公式，可从先验概率和信道传递概率求出输出符号的概率，

　　p(yj)=∑xip(xi)p(yj|xi)(3.1.7)

　　同时，根据贝叶斯公式可由先验概率和信道的传递概率求得后验概率：

　　p(xi|yj)=p(xiyj)p(yj)=p(xi)p(yj|xi)∑xip(xi)p(yj|xi)(3.1.8)

　　(3)离散输入连续输出信道。

　　离散输入连续输出信道表示有限离散的输入X∈{x0，x1，…，xq-1}和未经量化的输出Y∈{-∞,+∞}，且输入和输出间转移概率满足

　　P(y|X=xi)i=0，1，2，…，q-1(3.1.9)

　　信道的转移概率取决于噪声，其中最为重要的一类噪声是加性高斯白噪声(AWGN)信道，输出可表示为Y=X+G。G是均值为零、方差为σ2的高斯白噪声，X=xi，i=0，1，…，q-1，Y是均值为xi、方差为σ2的高斯随机变量。输入和输出间概率表示为

　　P(y|xi)=12πσ2e－(y－xi)2/2σ2(3.1.10)

……

前言/序言

前言
1948年，美国科学家香农（C.E.Shannon）发表了题为“通信的数学理论”的学术论文，宣告了信息论的诞生。信息论的产生和发展与通信技术、计算机技术的产生与发展密切相关，历史上大体分为早期酝酿、理论建立与发展以及理论应用与近代发展三个阶段。从信息的度量开始，信息的概念和研究范围在不断扩大和深化，并迅速渗透到其他相关学科领域。目前，信息论的应用领域从自然科学扩展到经济、管理科学甚至人文社会科学，其内涵从狭义信息论延展到如今的广义信息论，发展成为涉及面极广的信息科学。
信息论研究信息的度量问题，关注信息如何能有效地、可靠地、安全地从信源传输到信宿。香农熵是香农信息论中有关信息度量的基础，它与事件发生的概率相联系，是平均“不确定性”。在香农熵的基础上，可进一步引入联合熵、条件熵、互信息、信道容量和信息率失真函数等概念，它们可视为信息度量的其他形式。值得注意的是： 虽然香农熵以概率分布构成的不确定性为度量基础，但是随着信息科学的不断发展，香农熵的理解也被日益加深和扩大，新的信息度量与新的学科分支不断出现，形成了诸如量子信息论中的冯·诺依曼熵等概念的延伸。
信息论的基础内容理论性很强。在多年教学过程中，作者观察到学生的学习难点，以及对所学知识实用性的疑惑。本书力求理论和实际相结合，确保读者在理解基本概念的基础上，了解信息论在实际通信中的应用。通过相关应用的MATLAB程序实例，让读者体会信息论对实际通信的理论指导。
本书共7章，第1章是绪论，阐述了什么是信息、什么是信息论，信息论的应用及成果，以及信息论的研究范畴。在整体上给出信息论的概念及其应用价值。
第2章介绍信源与信息熵，包括信息论中信源的数学描述，信息熵的定义及概念推广，涵盖联合熵、相对熵及互信息，获得离散单符号信源的熵、离散序列信源的熵及连续信源熵的计算及表示方法，并给出信息熵的MATLAB程序实现以及信息熵在图像分割中的应用。这一章是后续章节的基础。
第3章介绍信道与信道容量，在信道数学描述的基础上，给出信道容量的定义。在此基础上，给出了离散单符号信道、离散序列信道，以及限时限频连续信道的容量计算及表示方法，推演了香农容量计算表达式。此外，该章给出了信道容量的MATLAB计算实例，以及多输入多输出（MIMO）系统的容量计算实例。
第4章介绍无噪信道编码理论，包括无失真信源编码理论和限失真信源编码理论，其中无失真信源编码理论包括定长编码定理和变长编码定理，并在理论基础上，介绍了具体的无失真信源编码方法，包括香农码、费诺码、赫夫曼码和算术编码。本章进一步给出了限失真和信息率失真函数的定义以及具体的限失真编码方法； 同样，也给出了无失真和限失真编码方法的MATLAB实现实例。
第5章介绍含噪信道编码理论，在最佳译码准则的基 信息论基础与应用/高等学校电子信息类专业系列教材 下载 mobi epub pdf txt 电子书 格式

评分☆☆☆☆☆

评分☆☆☆☆☆

评分☆☆☆☆☆

评分☆☆☆☆☆

评分☆☆☆☆☆

评分☆☆☆☆☆

评分☆☆☆☆☆

评分☆☆☆☆☆

评分☆☆☆☆☆

类似图书 点击查看全场最低价