信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源-信道隔离定理相互联系。

香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》(通信的数学理论)作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中,香农给出了信息熵(以下简称为“熵”)的定义:

这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量,其中去除了由消息的固有结构所决定的部分,比如,语言结构的冗余性以及语言中字母、词的使用频度等统计特性。

信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。

互信息(Mutual Information)是另一有用的信息度量,它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为:

其中 是联合熵(Joint Entropy),其定义为:

互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。

信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科,是专门研究信息的有效处理和可靠传输的一般规律的科学。

切略(E.C.Cherry)曾写过一篇早期信息理论史,他从石刻象形文字起,经过中世纪启蒙语言学,直到16世纪吉尔伯特(E.N.Gilbert)等人在电报学方面的工作。

相关查询: 信息论
最新查询:许靖华 苦辣酸甜 西北望BBS 黑鳞短肠蕨(原变种) 绵阳明天更美好 天门冬目 纹孔 腹膜炎 重化工 冈山县 红毛城 地支纪时法 乔治·坎塔里尼 命理经纬 马戏团的小丑 输水管 人间第一福 体力劳动 不可一世 布罗尔·熊皮 相对而言 效果图 经纪商 或多或少 大学德语阅读教程 UNICRON 宋李迪榖丰安乐图 回忆录 收益权 ͷлȾ... 极道执法者 Marguerite 奥迪碳汇林 国内法 溴化氢 王格尔塘镇 北印度洋季风环流 长城精灵汽车 沈玄 密苏里大学哥伦比亚分校 快乐阶梯作文 支气管炎 Surinder 广告社 过关斩将 Bordacount 广州天河工地塌方事故 石油气 鲜牛奶 红利指数 沼气池 经济学家 细胞结构 浴血奋战 贡山槭(原变种) 天空树双语字幕组 皮埃尔-阿兰·弗劳 木结构 企业估值 第三册 少林棍 怪物猎人日记暖洋洋的艾尔村 巨噬细胞 临江仙·试问梅花何处好 横行天下 凤凰明星 特种兵吉普车 走头无路 足跟痛消散 老老实实 ׿ᆳùר... 导电体 仁恒黄山路项目 顾炎武 单盘 永无休止 资金运用 �ձ���ѧ���ﳣ���﷨ 大气污染 信息论
友情链接: 知道 电影 百科 好搜 问答 微信 值得买 巨便宜 天天特价 洛阳汽车脚垫 女装 女鞋 母婴 内衣 零食 美妆 汽车 油价 郑州 北京 上海 广州 深圳 杭州 南京 苏州 武汉 天津 重庆 成都 大连 宁波 济南 西安 石家庄 沈阳 南阳 临沂 邯郸 保定 温州 东莞 洛阳 周口 青岛 徐州 赣州 菏泽 泉州 长春 唐山 商丘 南通 盐城 驻马店 佛山 衡阳 沧州 福州 昆明 无锡 南昌 黄冈 遵义
© 2025 haodianxin 百科 豫ICP备14030218号-3 消耗时间:0.029秒 内存2.83MB