1928年,R.V.L.哈特莱提出了信息定量化的初步设想,他将符号取值数m的对数定义为信息量,即I=log2m。对信息量作深入、系统研究的是信息论创始人C.E.香农。1948年,香农指出信源给出的符号是随机的,信源的信息量应是概率的函数,以信源的信息熵表示,即 ,其中Pi表示信源不同种类符号的概率,i= 1,2,…,n。

例如,若一个连续信源被等概率量化为4层,即4 种符号。这个信源每个符号所给出的信息量应为 ,与哈特莱公式I=log2m=log24=2bit一致。实质上哈特莱公式是等概率时香农公式的特例。

基本内容 实际信源多为有记忆序列信源,只有在掌握全部序列的概率特性后,才能计算出该信源中平均一个符号的熵HL(U)(L为符号数这通常是困难的。如果序列信源简化为简单的一阶、齐次、遍历马氏链,则比较简单。根据符号的条件概率Pji(即前一符号为i条件下后一符号为j的概率),可以求出遍历信源的稳定概率Pi,再由Pi和Pji求出HL(U)。即如图1所示 。 图1

其中H(U|V)称为条件熵,即前一符号V已知时后一符号U的不确定度。

信息量与信息熵在概念上是有区别的。在收到符号之前是不能肯定信源到底发送什么符号,通信的目的就是使接收者在收到符号后,解除对信源存在的疑义(不确定度),使不确定度变为零。这说明接收者从发送者的信源中获得的信息量是一个相对的量(H(U)-0)。而信息熵是描述信源本身统计特性的物理量,它表示信源产生符号的平均不确定度,不管有无接收者,它总是客观存在的量。

从信源中一个符号V中获取另一符号u的信息

量可用互信息表示,即

I(U;V)= H(U)-H(U|V)

表示在收到V以后仍然存在对信源符号U的疑义(不确定度)。一般情况下

I(U;V)≤H(U)

即获得的信息量比信源给出的信息熵要小。

连续信源可有无限个取值,输出信息量是无限大,但互信息是两个熵值之差,是相对量。这样,不论连续或离散信源,接收者获取的信息量仍然保持信息的一切特性,且是有限值。

信息量的引入,使通信、信息以及相关学科得以建立在定量分析的基础上,为各有关理论的确立与发展提供了保证[2] 。

所谓信息量是指从N个相等可能事件中选出一个事件所需要的信息度量或含量,也就是在辩识N个事件中特定的一个事件的过程中所需要提问"是或否"的最少次数.

相关查询: 信息量 系统研究 信息论 创始人
最新查询:电力设备诊断手册 黑暗轻小说 吉登斯结构化理论 迷幻桌球 恐怖组织 都市之璀璨人生 天师钟馗之毒夫记 艰巨性 形成核 陕西省第九届人民代表大会 周转率 历尽沧桑 人口统计学 林家嘉 济公外传 宦海沉浮 Relaxed 宝光寺数罗汉 既往不咎 我的宠物老公电视原声带 从表面上看 可读性 刮风下雨 星条旗 反射器 舒张压 林灏扬 游戏压力测试 卡洛斯·恩里克·卡塞米罗 论信息空间的大成智慧 知识产品经济学 C-反应蛋白 无时无地 满怀希望 塞缪尔 艾滋病毒 背井离乡 徒手体操 言下之意 欧美国家 卫斯理系列之鬼混 拓展游戏45分钟 处理问题 工业用 施洗约翰 掀开那记忆 未经许可 倚天屠龙外传魔殿屠龙 问心无愧 立法法 钢筋混凝土 Program 亚历山德罗·斯卡拉蒂 国外海军饮食保障最新进展 临沂大学广播电台 什一税 Hannover 海子评传 爱你的那一天 正确认识 木瓜花生煲生鱼煲 童话大王讲经典:三国演义 外部世界 名侦探赤富士鹰 电影界 百色市市政管理局 会议决定 贯彻执行 塞舌尔象龟 大宇神秘惊奇超强升级版 单季稻 心高气傲 小浪底 北极带 中华人民共和国和格鲁吉亚共和国联合声明 д��ͨ 观赏树木 武穴市人力资源和社会保障局 情绪低落 信息量
友情链接: 知道 电影 百科 好搜 问答 微信 值得买 巨便宜 天天特价 洛阳汽车脚垫 女装 女鞋 母婴 内衣 零食 美妆 汽车 油价 郑州 北京 上海 广州 深圳 杭州 南京 苏州 武汉 天津 重庆 成都 大连 宁波 济南 西安 石家庄 沈阳 南阳 临沂 邯郸 保定 温州 东莞 洛阳 周口 青岛 徐州 赣州 菏泽 泉州 长春 唐山 商丘 南通 盐城 驻马店 佛山 衡阳 沧州 福州 昆明 无锡 南昌 黄冈 遵义
© 2025 haodianxin 百科 豫ICP备14030218号-3 消耗时间:0.062秒 内存2.83MB