《信息论与编码 (07)》

外唐网为您收录的这部上海交通大学信息论与编码视频教程在介绍有关信息度量的基础上，重点讨论了信道容量、率失真函数，以及无失真信源编码、限失真信源编码、信道编码和密码学中的理论知识及其实现原理。教程里上海交大的老师采用通俗的文字，联系目前实际通信系统，用较多的例题和图不阐述基本概念、基本理论及实现原理，尽量减少繁杂的公式定理证明。观看之后您会发现这部教程绝对使您学习这方面知识的最佳选择。

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源-信道隔离定理相互联系。

香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》(通信的数学理论)作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵(以下简称为“熵”)的定义：H = - ∑ pilogpi i 这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。

信息就是一种消息，它与通讯问题密切相关。1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。目前，人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。一门研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的信息科学正在形成。

信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。信息科学在安全问题的研究中也有着重要应用。

信息论机制 在平常状态下，信息子杂乱无章地分布于四维空间中。当三维空间中的分子摩擦碰撞时，其中的能量逃逸到四维空间中，启动了信息子的规则排布，排布好的信息子又将能量释放出来，进入三维空间，引起其他分子的摩擦碰撞，如此循环下去。如果被引起摩擦碰撞的分子恰好是决子(decider，决定事件的因子，如引起神经冲动的钠钾离子、引起雷电的电荷)，并且有一定物质的量的决子被引起摩擦碰撞时，事件发生。当然，不同分子摩擦碰撞产生的能量不同，其引起的信息子的排布形式的种类也不同，因而决定的事件也不同。

然而，在宇宙爆炸前只有信息存在，一个决定因素(现在还不了解这个因素是什么)导致了信息子的偶然规则排布，一部分信息子转化为能量(信息子转化为能量是有一定条件的，这只有在宇宙爆炸前或初期才能实现)，能量再在一定条件下转化为物质，并继续转移转化，最终形成了我们现在的宇宙。因此，信息子的有序排布是事件发生的根本原因，物质摩擦碰撞是事件发生的直接原因，而能量的传递是事件发生的必要条件。