信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源-信道隔离定理相互联系。
香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》(通信的数学理论)作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中,香农给出了信息熵(以下简称为“熵”)的定义:
这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量,其中去除了由消息的固有结构所决定的部分,比如,语言结构的冗余性以及语言中字母、词的使用频度等统计特性。
信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。
互信息(Mutual Information)是另一有用的信息度量,它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为:
其中 是联合熵(Joint Entropy),其定义为:
互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。
信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科,是专门研究信息的有效处理和可靠传输的一般规律的科学。
切略(E.C.Cherry)曾写过一篇早期信息理论史,他从石刻象形文字起,经过中世纪启蒙语言学,直到16世纪吉尔伯特(E.N.Gilbert)等人在电报学方面的工作。