豆丁微信公众号
君，已阅读到文档的结尾了呢~~
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
信息论与编码技术（习题答案）
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='http://www.docin.com/DocinViewer--144.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口出自 MBA智库百科()
信息论（information theory）
　　信息论是运用与的和中一般规律的新兴学科。核心问题是信息传输的有效性和以及两者间的关系。
　　信息论作为一门科学理论，发端于。它具有广义和狭义两个概念：
　　狭义信息论是应用统计方法研究通讯系统中信息传递和信息处理的共同规律的科学，即研究概率性语法信息的科学；
　　广义信息论是应用数学和其他有关科学方法研究一切现实系统中信息传递和处理、和利用的共同规律的科学，即研究语法信息、语义信息和的科学。
　　信息是事物及其属性标识的集合
　　信息就是信息，信息是物质、能量、信息及其属性的标示。
　　信息是确定性的增加。即肯定性的确认。
　　人们对于信息的认识和利用，可以追溯到古代的通讯实践。中国古代的“烽燧相望”和古罗马地中海诸城市的“悬灯为号”，可以说是传递信息的原始方式。随着社会生产的发展，科学技术的进步，人们对传递信息的要求急剧增加。到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。美国科学家N.奈奎斯特、德国K.屈普夫米勒、前苏联A.H.科尔莫戈罗夫和英国R.A.赛希尔等人，从不同角度研究信息，为建立信息论作出很大贡献。1948年，美国数学家(被称为是“信息论之父”)出版《通信的数学理论》，1949年发表《噪声中的通信》，从而奠定了信息论的基础。20世纪70年代以后，随着数学计算机的广泛应用和的迅速发展，信息论正逐渐突破狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。它的建立是人类认识的一个飞跃。世界上各种事物都是充满矛盾不断发展的，物质的运动主要是靠内部矛盾运动所产生的能量，而事物之间的普遍联系则靠的是信息。信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就是立足于这个基本性质。信息论迅速渗透到各个不同学科领域，但还不够完善。为了适应科学技术发展的需要，迎接信息化社会的到来，一门新的科学正在迅速兴起，这就是广义信息论，或者叫做。信息科学是由信息论、、计算机、和等相互渗透、相互结合而形成的一门新兴综合性学科。信息科学登上现代科技舞台，与能量科学、材料科学鼎足而立 ，将为科学技术的发展作出贡献。
　　信息论内容包括、信源编码、信道编码、信道容量、信息失真率理论、信号检测和估计等。
　　信息的度量是信息论研究的基本问题之一。对于应用范围如此广泛的信息提出一个统一的度量是困难的。美国数学家在1948年提出作为信息量的测度。根据人们的实践经验，一个事件给予人们的信息量多少，与这一事件发生的概率(可能性)大小有关。一个小概率事件的发生，如“唐山发生七级以上大地震”使人们感到意外，它给人们的信息量就很多。相反一个大概率事件的出现，如“12月15日北京未下雪”给人们的信息量就很少。因此,用I(A)=- logP(A)〔P(A)表示事件A发生的概率〕来度量事件A给出的信息量，称为事件A的自信息量。若一次试验有M个可能结果(事件)，或一个信源可能产生M个消息（事件）,它们出现的概率分别为
,则用来度量一次试验或一个所给出的平均信息量。当对数取 2为底时,单位为比特；当对数取e为底时,则单位为奈特。H的表达式与熵的表达式差一个负号，故称负熵或。
　　主要由信源、信道和信宿组成，下图为信息传输系统的基本模型。是产生消息的系统。信宿是接受消息的系统，信道则是传输消息的通道。图中、译码器的作用是把消息变换成便于传输的形式。
　　信源是产生消息（包括消息序列）的源。消息通常是符号序列或时间函数。例如电报系统中的消息是由文字、符号、数字组成的报文（符号序列），称为离散消息。电话系统中的消息是语声波形(时间函数)，称为连续消息。消息取值服从一定的统计规律。因此,信源的是一个在信源符号集中取值的随机变量序列或随机过程。信源编码器将消息变换为一个数字序列(通常为二进制数字序列)。在离散情形,若信源产生M个可能消息,它们出现的概率分别为,每个消息由N个信源符号组成,便可取信源编码与数字序列一一对应。第i个消息对应的数字序列长(数字个数)为li，li相等的称等长编码，否则称变长编码。定义为编码速率，它表征平均每个信源符号要用多少个数字来表示。若取信源译码器为信源编码器的逆变换器，则在无噪信道(信源编码器的输出即为信源译码器的输入) 情况下，消息可以正确无误地传送。这时信源编码问题是要找出最小的速率R及其相应的编码。已经证明,对于相当广泛的信源类,当N可以任意大时这个最小极限速率称为信源的熵率,是信源的一个重要参数。对于固定的N,最优编码就是赫夫曼编码。在连续消息的情形，信息编码器不可能使消息与数字序列一一对应，因此译码也不是编码的逆变换。通常的方法是先对连续消息进行采样和量化，变为离散消息，再将离散消息变换为数字序列。信源译码器先将数字序列逆变换为离散消息，再用求得连续消息。这样一来，即使在无噪信道的情况下，发送消息与接收消息之间也会产生误差，称为消息失真。可以用一个非负函数d(u，v)来度量消息 u，v之间的失真大小。这时信源编码问题是在保证平均失真不超过给定允许极限D 的条件下找出最小速率R 及其相应编码。求解这一问题导致熵推广到失真率函数，信源编码的失真率理论因而得到发展。
　　信道是传输信息的媒质或通道，如架空明线、、射频波束、光导纤维等。有时为研究方便将发送端和接收端的一部分如也划归信道。信息论把信息传送过程中受各种干扰的影响都归入信道中考虑。根据干扰的统计特性,信道有多种模型。最简单的是离散无记忆恒参信道，它可以用信道入口符号集X、出口符号集Y和一组P(y|x)(x∈X，y∈Y)来描述。若信道输入信号x＝(x1,x2,…,xN),则相应的输出(受扰)信号y＝(y1,y2,…,yN)出现的概率为信道编码器将数字序列每K个一组变换为字长N 的信号（码字），称为分组编码。若数字和信道符号都是二进制的(可用0,1表示)，则R＝K/N 定义为编码速率，它表明每个信道符号表示多少个数字。N-K 称为编码冗余度。信道编码(纠错编码)的基本思想就是增加冗余度以提高可靠性。更确切地说，信道译码器可以利用编码冗余度将受扰信号变换为正确的发送数字序列。重复编码乃一简例。信道编码器将输入数字重复三次, 如将01011变换为111。信道译码器可用门限译码，即先将输入译码器的信道符号每三个一组地相加，再将结果逐个与阈值 2比较,小于阈值2的译为0,否则译为1。这样若受扰信号011虽然错了 5个符号,但译码仍为01011与发送数字序列完全相同。信息论得出的重要结论是:对于一个有噪信道,只要在信道编码中引入足够而有限的冗余度，或等价地说编码速率足够小，就能通过信道渐近无误地传送消息。更确切地说，对充分长的数字序列，其接收错误概率可以任意小。信道编码问题是要找出使信道渐近无误地传输消息所能达到的最大编码速率R和相应的编码。已经证明，对于离散无记忆恒参信道，这个最大极限编码速率为，它是对X上一切 p取极大值。p为信道()，
　　称为交互信息；C 称为信道容量，是信道的重要参数。
　　对图中的信息传输系统，若啛/TS＜C/TC，其中啛为信源的熵率，C为信道容量,TS和TC分别为信源符号和信道符号的持续时间，则一定存在编码和译码使消息可通过信道渐近无误地传送。反之,若啛/TS＞C/TC，则不存在这样的编码和译码。
　　信息论研究的主流始终是围绕这个基本定理展开的，只是信源和信道的模型更复杂而已。上述定理是实际存在的,但没有给出实现这一理想传输的具体编码方法。寻找实现这一理想传输的编码和译码方法则是编码理论研究的目标。虽然这一目标至今尚未达到，但信息论的研究成果对设计新通信系统的作用是人们所肯定的。
　　信息论的意义和应用范围已超出通信的领域。自然界和社会中有许多现象和问题，如生物神经的感知系统、遗传信息的传递等，均与信息论中研究的信息传输和信息处理系统相类似。因此信息论的思想对许多学科如物理学、生物学、遗传学、、计算机科学、、语言学、心理学、教育学、经济管理、保密学研究等都有一定的影响和作用。另一方面，由于借助负熵定义的信息量只能反映符号出现的（不肯定性），不能反映信息的语义和语用层次。一篇重要的报告和一篇胡说乱道的文章可以具有同样的信息，这显然不符合常识。因此现阶段信息论的应用又有很大的局限性。把信息的度量推广到适合于语义信息和语用信息的情况，曾经做过许多尝试。但至今还没有显著的进展。
密码学与密码分析学
信息论第一定律：
本条目对我有帮助46
&&如果您认为本条目还有待完善，需要补充新内容或修改错误内容，请。
本条目相关文档
& 22页& 26页& 219页& 22页& 68页& 72页& 2页& 138页& 102页& 6页
本条目由以下用户参与贡献
,,,,,,,,,,,,,,.
(window.slotbydup=window.slotbydup || []).push({
id: '224685',
container: s,
size: '728,90',
display: 'inlay-fix'
评论(共3条)提示:评论内容为网友针对条目"信息论"展开的讨论，与本站观点立场无关。
发表评论请文明上网，理性发言并遵守有关规定。
以上内容根据网友推荐自动排序生成香农信息论_百度百科
清除历史记录关闭
声明：百科词条人人可编辑，词条创建和修改均免费，绝不存在官方及代理商付费代编，请勿上当受骗。
香农信息论
香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。概括的讲，香农信息论是以概率论、随机过程为基本研究工具，研究广义通信系统的整个过程，而不是整个环节，并以编、译码器为重点，其关心的是最优系统的性能及如何达到该性能（并不具体设计环节，也不研究信宿）。目前，香农信息论方面值得注意的研究方向有信息概念的深化问题、信息失真理论的发展及在数据压缩中的应用、以计算机为中心的信息处理系统的基本理论等。
香农信息论名称由来
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。
被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了（以下简称为“熵”）的定义：香农
这一定义可以用来推算传递经后的原信息所需的信道带宽。熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。
信息论中的概念与物理学中的热力学熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。
互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：
I(X,Y) = H(X) + H(Y) - H(X,Y)
其中H(X,Y) 是联合熵(Joint Entropy)，其定义为：
互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。
香农信息论研究的主要内容
香农信息论研究的主要内容，包含如下问题：
（1）什么是信息？如何度量？
（2）在给定的信道中，信息传输有没有极限？
（3）信息能否被压缩或恢复？极限条件是什么？
（4）从实际环境中提取信息，极限条件是什么？
（5）在允许一定失真的条件下，信息能否被更大程度地压缩？极限条件是什么？
（6）设计什么样的系统才能达到上述极限？
（7）现实中，接近极限的设备是否存在？
概括的讲，香农信息论是以、为基本研究工具，研究广义通信系统的整个过程，而不是整个环节，并以编、译码器为重点，其关心的是最优系统的性能及如何达到该性能（并不具体设计环节，也不研究信宿）。目前，香农信息论方面值得注意的研究方向有信息概念的深化问题、信息失真理论的发展及在中的应用、以计算机为中心的信息处理系统的基本理论等。
香农信息论重要观点与方法
香农信息论中的关键之处在于香农利用抽象化的方法，对现实中各种不同的通信背景下的根本问题进行了刻画和抽象，主要依赖3种观点和方法，即形式化假说、不确定性和非决定论。建立了相对普通的关于通信的数学模型，用数学方法定量描述信息，从而得出了大量的定量的结论，特别是三大极限定理，均是对通信中重要问题的重要度量的极限结论。
香农信息论形式化假说
香农说：“通信的基本问题，是在消息的接收端精确地或近似地复制发送端所挑选的信息。通信消息是有意义的，即是说，它按某种关系与某些物质或概念的实体联系着。通信的语义方面的问题与工程问题是没有关系的。”
可提出如下假设：虽然信息的语义因素和语用因素对于广义信息来说并不是次要因素，但对于作为“通信的消息”来理解的狭义信息时，可以先把语义和语用因素搁置起来，假定各种信息的语义信息量和语用信息量恒定不变，而只单纯考虑信息的形式因素。比如信息包含不同的语义，而且语义也存在远近等不同；有些信息可能是有益的，有些可能是有害的，但是信息论暂时不管这些，以放弃一些复杂的“包袱”，这样才能便于建立模型、减少参数。
这种通信工程的“形式化”假说，对复杂的信息问题进行分解，大胆地去掉了复杂、具有个性化特点的、难于处理的消息的语义和语用因素，巧妙地保留了容易用数学描述的通用形式，因此，这使应用数学工具定量度量信息成为可能。此外，通过形式化的方法从通信问题中提取最为简练的共性问题，这使得通信问题升华为能够解决相对广泛的信息问题的理论，而不是单纯的个别应用，这种抽象使得所有消息和数据都可以采用数据的形式进行存储、传输和处理，使得信息化可以渗透到各行各业，给当今社会带来深远的影响。
香农信息论非决定论
我们知道，在科学史上，直到20世纪初，拉普拉斯的决定论的观点始终处于统治的地位。这种观点认为，世界上一切事物的运动都严格地遵从一定的机械规律。因此，只要知道了它的原因，就可以唯一地确定它的结果；反过来，只要知道了它的结果，就可以唯一地确定它在各个时刻的运动状态。这种观点只承认必然性，排斥和否认偶然性。
香农并没有墨守成规，他说：“重要的是，一个实际的消息，总是从可能发生的消息集合中选择出来的。因此，系统必须设计得对每一种选择都能工作，而不是只适合工作于某一种选择。因为，各种消息的选择是随机的，设计者事先无法直到什么时候会选择什么消息来传送。”这种“非决定论”观点是对通信活动的总的认识观，它从原则上回答了应采用什么样的数学工具来解决信息度量的问题，概率、集合的理论和方法由此得以在信息论中广泛应用。这也使得信息论可以解决给定参数下的一类问题。
香农信息论不确定性
香农指出：“人们只有在两种情况下有通信的需要。其一，是自己有某种形式的消息要告知对方，而估计对方不知道这个消息；其二，是自己有某种疑问要询问对方，而估计对方能做出一定的解答。”这里的不知道和疑问是在一般情况下归结为存在某种知识上的“不确定”。对于第一种情况，是希望消除对方的不确定性，对于第二种情况，则是请求对方消除，所以通信的作用是通过消息的传递，使接收者从收到的消息中获取一样东西，因而消除了通信前存在的“不确定性”。这种东西就是信息。这样，我们有理由给信息一个明确的定义：“信息就是用来消除不确定的东西。”进而，可合理地推断：通信后接收者获取的信息在数量上等于通信前后“不确定性”的消除量。这就是信息论中度量信息的基本观点。
那么，很自然的接着问这样一个问题：“不确定性”本身是否可度量？是否可用数学方法来表示呢？我们知道不确定性是与“多种结果的可能性”相联系的，而在数学上，这些“可能性”正是以概率来度量的。概率大，即“可能性”大；概率小，“可能性”小。显然，“可能性”大，即意味着“不确定性”小；“可能性”小，即意味着“不确定性”大。由此可见，“不确定性”与概率大小存在着一定的联系，“不确定性”应该是概率的某一函数；那么，“不确定性”的消除量（减少量），也就是狭义信息量，也一定可由概率的某一函数表示。这样就完全解决了作为“通信的消息”来理解的“狭义信息”的度量问题。这一点与非决定论有相似性。
以上三个观点可以说是信息论的三大理论支柱。信息论的建立，在很大程度上澄清了通信的基本问题。它以概率论为工具，刻划了信源产生信息的数学模型，导出了度量信息的数学公式；同时，描述了信道传输信息的过程，给出了表征传输能力的容量公式；此外，它还建立了一组信息传输的编码定理，论证了信息传输的一些基本界限。这些成果的取得，一方面使通信技术从经验走向科学，开辟了通信科学的新纪元。同时，也为整个信息科学的形成和发展奠定了必要的理论基础。但是我们也应该看到，在形式化的各种假设和通信系统的各种模型中，均存在各种各样的前提和假设，致使信息论只适合于一定的范围，给这个理论带来一定的局限性。
香农信息论应用范围
密码学与密码分析学
政治学（政治沟通）
信息论概述
是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。它主要是研究通讯和中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
齐华主编．信息理论与编码．北京：中国电力出版社，2014：9-12
王勇，黄雄华，蔡国永编著．信息论与编码．北京：清华大学出版社，2013：28-30
本词条认证专家为
研究员审核
北京信息科技大学
清除历史记录关闭2010研究生信息论期末考试_百度文库
您的浏览器Javascript被禁用，需开启后体验完整功能，
赠送免券下载特权
10W篇文档免费专享
部分付费文档8折起
每天抽奖多种福利
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
2010研究生信息论期末考试
阅读已结束，下载本文需要
想免费下载更多文档？
定制HR最喜欢的简历
你可能喜欢