本书**介绍由香农理论发展而来的信息论的基本理论以及编码的理论和实现原理。全书分7章,在介绍了有关信息度量的基础上,**讨论了信道容量、率失真函数,以及无失真信源编码、限失真信源编码、信道编码和密码学中的理论知识及其实现原理。
本书注重概念,采用通俗的文字,联系目前实际通信系统,用较多的例题和图示阐述基本概念、基本理论及实现原理,尽量减少繁杂的公式定理证明。在各章的*后还附有内容小结和大量习题,书后附有部分习题答案,便于读者学习,加深对概念和原理的理解。此外,本书有配套电子教案。
本书可作为理工科高等院校电子信息工程、通信工程及相关专业的本科学生教材,亦可供通信工程、电子工程等相关专业的科技人员学习参考。

第1章 绪论
1.1 信息论的形成和发展
1.2 通信系统的模型
习题
第2章 信源与信息熵
2.1 信源的描述与分类
2.1.1 无记忆信源
2.1.2 有记忆信源
2.1.3 马尔可夫信源
2.2 离散信源熵和互信息
2.2.1 自信息量
2.2.2 离散信源熵
2.2.3 互信息
2.2.4 数据处理中信息的变化
2.2.5 熵的性质
2.3 离散序列信源熵
2.3.1 离散无记忆信源的序列熵
2.3.2 离散有记忆信源的序列熵
2.4 连续信源熵和互信息
2.4.1 幅度连续的单个符号信源熵
2.4.2 波形信源熵
2.4.3 *大熵定理
2.5 冗余度
本章小结
习题
第3章 信道与信道容量
3.1 信道的基本概念
3.1.1 信道的分类
3.1.2 信道参数
3.1.3 信道容量的定义
3.2 离散单个符号信道及其容量
3.2.1 无干扰离散信道
3.2.2 对称DMC信道
3.2.3 准对称DMC信道
3.2.4 一般DMC信道
3.3 离散序列信道及其容量
3.4 连续信道及其容量
3.4.1 连续单符号加性信道
3.4.2 多维无记忆加性连续信道
3.4.3 限时限频限功率的加性高斯白噪声信道
3.5 信源与信道的匹配
本章小结
习题
第4章 信息率失真函数
4.1 平均失真和信息率失真函数
4.1.1 失真函数
4.1.2 平均失真
4.1.3 信息率失真函数R(D)
4.1.4 信息率失真函数的性质
4.1.5 信息率失真函数与信道容量的比较
4.2 离散信源和连续信源的R(D)计算
本章小结
习题
第5章 信源编码
5.1 编码的定义
5.2 无失真信源编码
5.2.1 定长编码定理
5.2.2 变长编码定理
5.2.3 *佳变长编码
5.3 限失真信源编码定理
5.4 常用信源编码方法简介
5.4.1 游程编码
5.4.2 算术编码
5.4.3 矢量量化
5.4.4 预测编码
5.4.5 变换编码
本章小结
习题
第6章 信道编码
第7章 加密编码
附录 本书所用符号及含义
部分习题参考答案
参考文献

第1章 绪论
科学技术的发展使人类跨入了高度发展的信息化时代。在政治、军事、经济等各个领域,信息的重要性不言而喻,有关信息理论的研究正越来越受到重视。
人们在自然和社会活动中,获取信息并对其进行传输、交换、处理、检测、识别、存储、显示等操作,对这方面科学的研究就是信息科学。信息论(information theory)是信息科学的主要理论基础之一。它主要研究可能性和存在性问题,为具体实现提供理论依据。与之对应的是信息技术(information technology),信息技术主要研究怎样实现的问题。
通过本章的学习,可以了解下列问题:信息论的形成和发展;信息论研究的内容及信息的基本概念。本章还结合通信系统模型介绍了模型中各部分的作用、编码的种类和研究内容。
1.1 信息论的形成和发展
信息论理论基础的建立,一般来说开始于香农(C.E.Shannon)在研究通信系统时所发表的论文。随着研究的深入与发展,信息论有了更为宽广的内容。
信息在早些时期的定义是由奈奎斯特(H.Nyquist)和哈特利(L.V.R.Hartley)在20世纪20年代提出来的。1924年奈奎斯特解释了信号带宽和信息速率之间的关系;1928年哈特利*早研究了通信系统传输信息的能力,给出了信息度量方法;1936年阿姆斯壮(Armslrong)提出增大带宽可以使抗干扰能力加强。这些研究工作都给香农很大的影响,他在1941年至1944年对通信和密码进行深入研究,并用概率论的方法研究通信系统,揭示了通信系统传递的对象就是信息,并对信息给以科学的定量描述,提出了信息熵的概念。……