本书**介绍了信息论的基础知识以及信源、信道编码理论和编码技术。全书共分7章,在介绍了信息度量的基础上,**阐述了无失真信源编码理论、限失真信源编码理论、信道编码理论、信源编码技术以及信道编码技术的基本知识。
本书注重阐述概念以及相关的物理意义,并使用较多的例题和示意图阐述基本概念、基本理论和基本分析方法,减少了繁杂的公式证明。另外还对编码中面临的实际问题进行了分析,以帮助读者加深理解。
本书既可以作为信息工程、通信工程及相关专业的本科生和研究生教材,也可以作为相关专业技术人员的参考书。

第1章 绪论
1.1 信息论的形成与发展
信息论(Information Theory)是通信中的数学理论,是研究信息传输、存储和处理的科学,它回答了两个根本问题:
(1)数据压缩可以达到何种程度。(无损压缩受到熵的限制,而有损压缩受到信息率失真理论的制约。)
(2)通信系统的*大信息传输速率是多少。(不会超过信道容量。)
信息论主要讨论存在性问题,具有重要的指导意义和实际意义。尽管有人认为信息论是通信理论的子集,但实际情况并非如此,它对统计物理、计算机科学(如算法复杂度)、概率与统计等学科都有贡献。随着科学技术的发展,信息论在实际应用中的作用日益重要,不仅仅在于理论方面的作用,在实际工程中同样得到广泛应用。
一般认为信息论作为一门学科开始于香农(Shannon)1948年发表的论文“通信中的数学问题”(A Mathematical Theory of Communication)。这是一篇关于现代信息论的权威论文,为信息论的创立做出了极大贡献,因此普遍认为香农是信息论的奠基人。该论文使用概率统计方法对通信系统进行了研究,揭示了通信系统传递的对象是信息,并且对信息进行了科学的定量描述,提出了熵的概念。
香农的论文发表之前,许多科学家从不同角度对通信中的问题进行了研究,这些研究成果对香农产生了重要影响,具有代表性的有:
(1)1924年,Nyquist和Hartley对信息进行了定义,解释了信号带宽与信息传输速率之间的关系。
(2)1928年,Hartley研究了通信系统传输能力问题,给出了信息度量的方法。
(3)1936年,Amstron9提出了增加带宽可以提高系统抗干扰能力。
20世纪50年代信息理论在学术界引起极大反响,促进了信息理论的研究与发展;60年代信道编码技术迅速发展,成为信息论的重要分支;70年代卷积码和概率译码有了重大突破。20世纪70年代,信息论得到很大发展,扩展了研究领域,信息论的研究从点对点的单用户通信系统推广到多用户系统的研究,近30年来,该领域的研究十分活跃,使得多用户信息理论日趋完善。其中,Cover对多用户信息理论的研究做出了很大贡献。
近几年,随着计算机技术和超大规模集成电路技术的发展,信道编码,如TurbO码、LDPC等编解码取得了重大突破。TurbO码��LDPC采用长码、交织技术、迭代解码技术进行编解码,从而提高了编码效率和纠错能力。
……

第1章 绪论
1.1 信息论的形成与发展
1.2 通信系统的模型
1.3 信息论研究的内容
第2章 信源与信源熵
2.1 信源的数学模型和分类
2.1.1 信源输出的消息由随机变量描述
2.1.2 信源输出的消息由随机矢量描述
2.2 离散信源的熵与互信息
2.2.1 非平均信息量
2.2.2 平均信息量
2.3 熵的性质
2.4 离散信源序列的熵
2.4.1 消息序列信息量的一般表达式
2.4.2 离散无记忆信源的熵
2.4.3 离散有记忆信源的熵
2.4.4 马尔可夫信源的熵
2.5 连续信源的熵与互信息量
2.5.1 幅度连续单个符号信源
2.5.2 波形信源
2.5.3 *大熵定理
2.6 信源相关性与冗余度
小结
习题
第3章 信道与信道容量
3.1 信道分类
3.2 单符号离散信道及其容量
3.2.1 数学模型
3.2.2 信道容量
3.2.3 离散信道容量的迭代算法
3.3 离散序列信道及其容量
3.4 信源与信道的匹配
3.5 连续信道及其容量
3.5.1 连续单符号加性信道
3.5.2 多维无记忆加性连续信道
3.5.3 加性高斯白噪声波形信道
小结
习题
第4章 离散信源编码理论
4.1 信源编码的基本概念
4.2 渐近等同分割性
4.3 信源无失真编码
4.4 信息率失真函数及性质
4.4.1 失真测度
4.4.2 信息率失真函数的定义
4.4.3 信息率失真函数的性质
4.5 信息率失真函数的计算
4.6 信息率失真函数的迭代算法
4.7 香农第三定理
小结
习题
第5章 信源编码技术
5.1 *佳变长编码
5.1.1香农码
5.1.2 费诺码
5.1.3 哈夫曼码
5.2 编码的实现
5.3 编码方法简介
5.3.1 游程编码
5.3.2 算术编码
5.4 变换编码
5.4.1 变换基本原理
5.4.2 常用变换
5.5 现代静态图像编码技术
5.5.1 编码原理
5.5.2 编码效率
5.5.3 一般框架
5.5.4 EZW算法
5.5.5 SPIHT算法
5.5.6 图像压缩国际标准JPEG2000
5.6 星载图像压缩系统设计
5.6.1 小波变换的硬件实现
5.6.2 SPIHT的硬件实现
5.6.3 JPEG2000的硬件实现
小结
习题
第6章 有噪离散信道编码
6.1 差错、 差错控制系统分类
6.2 纠错码的基本概念
6.3 译码规则
6.3.1 两种译码规则
6.3.2 错误译码概率
6.3.3 费诺不等式
6.4 联合典型序列与联合渐进等分割定理
6.5 香农第二定理
6.5.1 有噪信道编码定理
6.5.2 错误概率的上界
小结
习题
第7章 信道编码技术
7.1 线性分组码
7.1.1 生成矩阵和校验矩阵
7.1.2 一些特殊的线性分组码
7.1.3 循环码
7.1.4 BCH码与RS码
7.1.5 线性分组码的硬判决译码
7.2 卷积码
7.2.1 卷积码编码及描述方式
7.2.2 维特比译码
7.2.3 卷积码译码错误概率分析
7.2.4 删余卷积码
7.2.5 码率匹配删余卷积码(RCPC)
7.3 TCM码与级联码
7.3.1 TCM码
7.3.2 级联码
7.4 Turbo码和LDPC码
7.4.1 Turbo码
7.4.2 LDPC码
小结
习题
参考文献