本书是英国剑桥大学卡文迪许实验室的**学者David　J.C.MacKay博士总结多年教学经验和科研成果，于2003年推出的一部力作。本书作者不仅透彻地论述了传统信息论的内容和*新编码算法，而且以高度的学科驾驭能力，匠心独具地在一个统一框架下讨论了贝叶斯数据建模、蒙特卡罗方法、聚类算法、神经网络等属于机器学习和推理领域的主题，从而很好地将诸多学科的技术内涵融会贯通。本书注重理论与实际的结合，内容组织科学严谨，反映了多门学科的内在联系和发展趋势。同时，本书还包含了丰富的例题和近400道习题（其中许多习题还配有详细的解答），便于教学或自学，适合作为信息科学与技术相关专业高年级本科生和研究生教材，对相关专业技术人员也不失为一本有益的参考书。

第1章信息论导论
第2章概率、熵与推理
第3章有关推理的更多内容

**部分数据压缩
第4章信源编码定理
第5章符号码
第6章符号流码
第7章整数的码

第二部分噪声信道编码
第8章相关随机变量
第9章噪声信道上的通信
第10章噪声信道编码定理
第11章纠错码与实际信道

第三部分信息论中的更多专题
第12章散列码:用于有效信息检索的码
第13章二进制码
第14章存在很好的线性码
第15章有关信息论的更多习题
第16章消息传递
第17章受限无噪信道上的通信
第18章纵横字谜与密码破译
第19章为何有性?信息获取与进化

第四部分概率与推理
第20章一个推理任务示例:聚类
第2l章基于完全枚举的**推理
第22章*大似然与聚类
第23章有用的概率分布
第24章**边缘化
第25章网格中的**边缘化
第26章图中的**边缘化
第27章拉普拉斯方法
第28章模型比较与奥卡姆剃刀原理
第29章蒙特卡罗方法
第30章有效的蒙特卡罗方法
第31章伊辛模型
第32章**蒙特卡罗采样
第33章变参法
第34章独立元素分析与隐含变量建模
第35章有关随机推理的专题
第36章决策论
第37章贝叶斯推理与抽样理论

第五部分神经网络
第38章神经网络引言
第39章单神经元分类器
第40章单神经元的容量
第41章以学习作推理
第42章HopfieId网络
第43章玻耳兹曼机
第44章多层网络的有监督学习
第45章高斯过程
第46章反卷积

第六部分稀疏图码
第47章低密度奇偶校验码
第48章卷积码与Turbo码
第49章重复累加码
第50章数字喷泉码

第七部分附录
附录A记号
附录B一些物理知识
附录C一些数学知识
英汉词汇表
参考文献