本书系统介绍了信息论基本原理及其在通信理论、统计学、计算机科学、概率论以及投资理论等领域的应用。作者以循序渐进的方式,介绍了信息量的基本定义、相对熵、互信息以及他们如何自然地用来解决数据压缩、信道容量、信息率失真、统计假设、网络信息流等问题。除此以外,本书还探讨了很多教材中从未涉及的问题,如:热力学第二定律与马尔可夫链之间的联系;Huffman编码的*优性;数据压缩的对偶性;Lempel Ziv编码;Kolmogorov复杂笥;Porfolio理论;信息论不等式及其数学结论;本书可作为通信、电子、计算机、自动控制、统计、经济等专业高年级本科生和研究生的教材或参考书,也可供相关领域的科研人员和专业技术人员参考。

List of Figures
1 Introduction and Preview
1.1Preview of the book
2 Entropy,Relative Entropy and Mutual Information
2.1 Entropy
2.2 Joint entropy and conditional entropy
2.3 Relation entropy and mutual information
2.4 Relationship between entropy ad mutual informat...... 更多