为什么超越概率曲线越小的消息所含信息量越大

来源：蜘蛛抓取(WebSpider) 时间：2015-06-16 01:54 标签： 50年超越概率10
 上传我的文档
 下载
 收藏
该文档贡献者很忙，什么也没留下。
 下载此文档
正在努力加载中...
信息的度量
下载积分：100
内容提示：信息的度量
文档格式：PDF|
浏览次数：56|
上传日期： 08:42:24|
文档星级：
该用户还上传了这些文档
信息的度量
官方公共微信当前位置： >
在信息传输中，出现概率越①的消息，其所含的信息董越大；出现概率越②的消息，其所含的信息量越小。
所属学科：
试题类型：主观题
所属知识点：
试题分数：2.0 分
暂未组卷。
暂无学习笔记。
&&&&&&&&&&&&&&&希赛网 版权所有 & &&&&增值电信业务经营许可证湘B2-　　对于而言，信源概率空间的概率分别为P(x1),P(x2),P(x3),P(x4)...P(xn)。显然信源这时输出一个消息提供的信息量就等于信源的不确定度。&　　
&&&&&& 我们又知道，当概率P越小，x消息出现的概率就越小，一旦出现所获得的信息量就越大。因此，我们定义I(x)=log[1/p(x)],通常称I(x)为消息x的自信息量，它具有随机变量的性质，但自信息量不能表示信源总体的不肯定度。
为本词条添加和相关影像
互动百科的词条（含所附图片）系由网友上传，如果涉嫌侵权，请与客服联系，我们将按照法律之相关规定及时进行处理。未经许可，禁止商业网站等复制、抓取本站内容；合理使用者，请注明来源于。
登录后使用互动百科的服务，将会得到个性化的提示和帮助，还有机会和专业认证智愿者沟通。
您也可以使用以下网站账号登录：
此词条还可添加&
编辑次数：3次
参与编辑人数：2位
最近更新时间： 13:23:39
贡献光荣榜
扫描二维码用手机浏览词条
保存二维码可印刷到宣传品
扫描二维码用手机浏览词条
保存二维码可印刷到宣传品出自 MBA智库百科()
信息量(Information Quantity)
　　信息量是源于通信领域而逐渐普及成为大众与媒体频繁使用的一个词。假如你从未到过智库百科，也没有看过或听过任何有关智库百科的有关介绍，那么智库百科对你来说就是一个“未知数”，存在着所谓“”()。一旦你到过智库百科，你就能了解到智库百科的具体情况——“信息”。“信息”将帮你逐渐解开头脑中的疑团，消除你对“智库百科”认识上的不确定性，并由不确定性变成较为确定或确定。如获得的“信息”越多，你对“智库百科”的了解就越全面。当你到过智库百科以后对它的了解越多，说明它的信息量就越大。
　　如何计算信息量的多少？在日常生活中，极少发生的事件一旦发生是容易引起人们关注的，而司空见惯的事不会引起注意，也就是说，极少见的事件所带来的信息量多。如果用的术语来描述，就是出现概率小的事件信息量多。因此，事件出现得概率越小，信息量愈大。即信息量的多少是与事件发生频繁(即概率大小)成反比。
　　1.如已知事件Xi已发生，则表示Xi所含有或所提供的信息量
　　H(Xi) =
& logaP(Xi)
　　例题：若估计在一次国际象棋比赛中谢军获得冠军的可能性为0.1(记为事件A)，而在另一次国际象棋比赛中她得到冠军的可能性为0.9(记为事件B)。试分别计算当你得知她获得冠军时，从这两个事件中获得的信息量各为多少？
　　　　　　H(A)=-log2 P(0.1)≈3.32(比特)
　　　　　　H(B)=-log2 P(0.9)≈0.152(比特)
　　2.统计信息量的计算公式为：
Xi —— 表示第i个状态(总共有n种状态)；
P(Xi)——表示第i个状态出现的概率；
H(X)——表示用以消除这个事物的不确定性所需要的信息量。
　　例题：向空中投掷，落地后有两种可能的状态，一个是正面朝上，另一个是反面朝上，每个状态出现的概率为1/2。如投掷均匀的正六面体的骰子，则可能会出现的状态有6个，每一个状态出现的概率均为1/6。试通过计算来比较状态的不肯定性与硬币状态的不肯定性的大小。
= -(2×1/2)×logP2(1/2)≈1(比特)
= -6×(1/6)×logP2(1/6)≈2.6(比特)
　　由以上计算可以得出两个推论：
　　[推论1] 当且仅当某个P(Xi)=1，其余的都等于0时，
　　[推论2]当且仅当某个P(Xi)=1/n，i=1， 2，……，
n时，H(X)有极大值log n。
本条目对我有帮助21
&&如果您认为本条目还有待完善，需要补充新内容或修改错误内容，请。
本条目相关文档
& 2页& 2页& 5页& 4页& 5页& 1页& 1页& 2页& 7页& 4页
本条目相关资讯
本条目由以下用户参与贡献
评论(共2条)提示:评论内容为网友针对条目"信息量"展开的讨论，与本站观点立场无关。
发表评论请文明上网，理性发言并遵守有关规定。信息及其度量_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
信息及其度量
阅读已结束，如果下载本文需要使用
想免费下载本文？
下载文档到电脑，查找使用更方便
还剩4页未读，继续阅读
你可能喜欢

我要回帖

更多关于 50年超越概率10 的文章

 

随机推荐