本书全面系统地介绍了香农信息论的基本理论以及多类应用问题,其中包括了作者的许多研究成果。本书阐述了熵、相关熵和互信息之间的基本代数关系,论述了渐近均分性(AEP)、承机过程和数据压缩的熵率、Kolmogorov复杂度、信道容量定理、微分熵以及网络信息理论等内容,并采用“使用不等式串、中间不加任何文字、*后直接加以解释”的创新表述方式,使读者学习了一定数量的证明后,在没有任何解决的情况下就能理解其中的大部分步骤,并给予必要的解释。
本书适合作为通信理论、计算机科学和数学等专业学生学习信息论的教材。章后提供的习题便于老师的教学,以及增强学生对信息论的理解。

译者序
前言
第1章 绪论与概览
第2章 熵、相对熵和互信息
2.1 熵
2.2 联合熵和条件熵
2.3 相对熵和互信息
2.4 熵与互信息的关系
2.5 熵、相对熵和互信息的链式法则
2.6 Jensen不等式及其结果
2.7 对数和不等式及其应用
2.8 数据处理不等式
2.9 热力学第二定律
2.10 充分统计量
2.11 Fano不等式
要点
习题
历史回顾
第3章 渐近均分性
3.1 渐近均分性的定义
3.2 AEP的结果应用:数据压缩
3.3 高概率集与典型集
要点
习题
历史回顾
第4章 随机过程的熵率
4.1 马尔可夫链
4.2 熵率
4.3 例子:加权图上随机游动的熵率
4.4 隐马尔可夫模型
要点
习题
历史回顾
第5章 数据压缩
5.1 有关编码的例子
5.2 Kraft不等式
5.3 *优码
5.4 *优码长的界
5.5 惟一可译码的Kraft不等式
5.6 赫夫曼码
5.7 有关赫夫曼码的评论
5.8 赫夫曼码的*优性
5.9 Shannon-Fano-Elias编码
5.10 算术编码
5.11 香农码的竞争*优性
5.12 由均匀硬币投掷生成离散分布
要点
习题
历史回顾
第6章 博弈与数据压缩
6.1 马赛
6.2 博弈与边信息
6.3 相依的马赛及其熵率
6.4 英文的熵
6.5 数据压缩与博弈
6.6 英文的熵的博弈估计
要点
习题
历史回顾
第7章 Kolmogorov复杂度
7.1 计算模型
7.2 Kolmogorov复杂度:定义和例子
7.3 Kolmogorov复杂度与熵
7.4 整数的Kolmogorov复杂度
7.5 算法随机序列与不可压缩序列
7.6 普适概率
7.7 停止问题和Kolmogorov复杂度的不可计算性
7.8 Ω
7.9 普适投注策略
7.10 奥克姆剃刀
7.11 Kolmogorov复杂度与普适概率
7.12 Kolmogorov充分统计量
要点
习题
历史回顾
第8章 ���道容量
8.1 信道容量的例子
8.2 对称信道
8.3 信道容量的性质
8.4 信道编码定理预览
8.5 定义
8.6 联合典型序列
8.7 信道编码定理
8.8 零误差码
8.9 Fano不等式与编码定理的逆定理
8.10 信道编码定理的逆定理中的等式
8.11 汉明码
8.12 反馈容量
8.13 联合信源信道编码定理
要点
习题
历史回顾
第9章 微分熵
9.1 定义
9.2 连续随机变量的AEP
9.3 微分熵与离散熵的关系
9.4 联合微分熵和条件微分熵
9.5 相对熵和互信息
9.6 微分熵、相对熵以及互信息的性质
9.7 离散熵的微分熵界
要点
习题
历史回顾
第10章 高斯信道
10.1 高斯信道的定义
10.2 高斯信道编码定理的逆定理
10.3 有限带宽信道
10.4 并联高斯信道
10.5 彩色高斯噪声信道
10.6 带反馈的高斯信道
要点
习题
历史回顾
第11章 *大熵与谱估计
11.1 *大熵分布
11.2 例子
11.3 反常的*大熵问题
11.4 谱估计
11.5 高斯过程的熵率
11.6 Burg*大熵定理
要点
习题
历史回顾
第12章 信息论与统计学
12.1 型方法
12.2 大数定律
12.3 通用信源编码
12.4 大偏差理论
12.5 Sanov定理的例子
12.6 条件极限定理
12.7 假设检验
12.8 Stein引理
12.9 Chernoff界
12.10 Lempel-Ziv编码
12.11 Fisher信息与Cram巖-Rao不等式
要点
习题
历史回顾
第13章 率失真理论
13.1 量化
13.2 定义
13.3 率失真函数的计算
13.4 率失真定理的逆定理
13.5 率失真函数的可达性
13.6 强典型序列与率失真
13.7 率失真函数的特征
13.8 信道容量与率失真函数的计算
要点
习题
历史回顾
第14章 网络信息论
14.1 高斯多用户信道
14.2 联合典型序列
14.3 多接入信道
14.4 相关信源的编码
14.5 Slepian-Wolf编码与多接入信道之间的对偶性
14.6 广播信道
14.7 中继信道
14.8 具有边信息的信源编码
14.9 具有边信息的率失真
14.10 一般多端网络
要点
习题
历史回顾
第15章 信息论与股票市场
15.1 股票市场:定义
15.2 对数*优投资组合的Kuhn-Tucker特征
15.3 对数*优投资组合的渐近*优性
15.4 边信息与双倍率
15.5 平稳市场中的投资
15.6 对数*优投资组合的竞争*优性
15.7 Shannon-McMillan-Breiman定理
要点
习题
历史回顾
第16章 信息论的不等式
16.1 信息论的基本不等式
16.2 微分熵
16.3 熵与相对熵的界
16.4 型的不等式
16.5 子集的熵率
16.6 熵与Fisher信息
16.7 熵幂不等式与Brunn-Minkowski不等式
16.8 行列式的不等式
16.9 行列式的比值的不等式
全书要点
习题
历史回顾
参考文献
索引

本书介绍信息论及其应用,内容丰富,涉及信息、统计、计算机科学等领域,系统和全面地介绍了香农信息论的基本理论与多类应用问题,其中包括作者的许多研究成果。本书包含大量的例题与背景说明,涉及信息处理与信息世界中的许多问题。
本书是美国斯坦福大学、莱斯大学等使用的信息论教材,是学习信息论的主要参考书。
本书特色:
·包含大量新的素材,如信息论与博弈的关系;
·采用典型序列的方法对编码理论进行描述与证明;
·采用随机码方法证明信道与有失真信源编码定理。