本书系统论述香农（shannon）信息论的基础理论和编码的基本理论及方法。内容包括：信息的定义、自信息、互信息、信息熵、平均互信息、信道容量与匹配信源、串接信道与数据处理；扩展信源的信息熵、平均符号熵、马尔柯夫（Markov）信源的极限熵、剩余度、扩展信道的平均互信息、独立并列信道的信道容量；连续信源的相对熵、熵功率、高斯白噪声加性信道的*高信息传输速率；单义可译码的结构定理、信源符号速率极限定理、霍夫曼（Huffman）码编码方法及其性能评估、费诺（Fano）码和香农（shannon）码的编码方法；*小平均误码率译码规则、几种纠错码的编码方法及其*小误码率、误码率极限定理、线性分组码的代数结构和编码译码方法、系统完备码的*小平均误码率、汉明（Hamming）码的*优化；信息率-失真函数R（D）的定义和性质、离散信源R（D）的表达式、扩展信源的R（D）与数据压缩的关系等。
本书可作为高等院校高年级本科生的教材，也可供相关专业的研究生和从事信息理论、信息技术的科研、教学和工程技术人员参考。

引言
第1章单符号离散信源
11信源的信息熵
111信源的数学模型
112信源符号的自信量
113信源的信息熵
12信息熵的代数性质
121熵函数的对称性
122熵函数的非负性和确定性
123熵函数的连续性和扩展性
124熵函数的可加性
125熵函数的递推性
13信息熵的解析性质
131熵函数的极值性
132熵函数的上凸性
133熵函数的*大值
14熵函数的**性
习题
第2章单符号离散信道
21平均互信息
211信道的数学模型
212信道两端符号的概率变化
213两个符号之间的互信息
214两个随机变量之间的平均互信息
22平均互信息的数学特性
221平均互信息的非负性
222平均互信息的极值性
223平均互信息的上凸性
23信道容量与匹配信源
231信道容量的定义
232信道容量的一般算法
233匹配信源的等量平衡特性
24几种特殊信道的信道容量
241无噪信道的信道容量
242强对称信道的信道容量
243对称信道的信道容量
244准对称信道的信道容量
25串接信道的平均互信息
251串接信道的数学描述
252平均条件互信息
253平均联合互信息
254数据处理定理
习题
第3章多符号离散信源与信道
31离散平稳信源的数学模型
311多符号离散信源的一般概念
312离散平稳信源的定义
313平稳信源的数学模型
32扩展信源的信息熵
321无记忆扩展信源的信息熵
322有记忆扩展信源的信息熵
323扩展信源信息熵的比较
33平均符号熵和极限熵
331平均符号熵
332极限熵
34马尔柯夫信源的极限熵
341M信源的定义
342mM信源的数学模型
343各态历经mM信源的极限熵
344剩余度
35扩展信道的平均互信息
351扩展信道的由来
352扩展信道的数学描述
353扩展信道的平均互信息的数学特性
36无记忆扩展信道的信道容量
361无记忆扩展信道的独立并列特性
362独立并列信道的信道容量
习题
第4章连续信源与信道
41单维连续信道的平均互信息
411单维连续信道的数学描述
412连续信源的信息熵
413连续信道的疑义度
414信息熵差与相对熵差
415平均互信息的三种表达式
42连续信源的相对熵
421“相对”二字的由来及其内涵
422几种连续信源的相对熵
43*大相对熵定理
431相对熵的数学特性
432*大相对熵定理
433熵功率与信息变差
434“相对熵”和“信息熵”称呼的统一
44高斯白噪声加性信道的信道容量
441加性信道的信道容量
442高斯加性信道的信道容量
443高斯白噪声加性信道的信道容量
444香农公式的诠释
习题
第5章无失真信源编码
51单义可译定理
511单义可译码
512非延长码及其构成
513单义可译结构定理
52无记忆信源符号速率极限定理
521平均码长与码率
522平均码长极限定理
523码率极限定理
524符号速率极限定理
53有记忆信源符号速率极限定理
54霍夫曼码
541霍夫曼编码方法
542霍夫曼码是非延长码
543霍夫曼码是有效码
习题
第6章抗干扰信道编码
61译码规则和平均误码率
611译码规则
612误码率和平均误码率
613*小平均误码率译码规则
62编码方法和*小平均误码率
621纠错码W（Ⅰ）的*小平均误码率
622纠错码W（Ⅱ）的*小平均误码率
623纠错码W（Ⅲ）的*小平均误码率
63抗干扰信道编码定理
631汉明（Hamming）距离与检纠能力
632汉明距离与*小平均误码率
633疑义度与平均误码率
634平均误码率与码率
635误码率极限定理
64线性分组码
641线性分组码的代数结构
642生成矩阵
643一致校验矩阵
644译码表
645汉明码的*优化
习题
第7章信息率—失真函数
71信息率—失真函数R（D）的定义
711平均互信息的下凸性
712平均失真度
713R（D）函数的定义
72R（D）函数的数学特性
721R（D）函数的连续性
722R（D）函数的下凸性
723R（D）函数的单调递减性
73离散信源的R（D）函数
731R（D）函数的定义域
732R（D）函数的表达式
74扩展信源的R（D）函数
741扩展信道的平均失真度
742扩展信源R（D）函数的数学特征
75R（D）与数据压缩
751数据压缩的一般运行机制
752R（D）与压缩比
753通信系统*优化前景
习题
附录A供熵函数计算用的几种函数表