14、香农的信息熵

1948年，香农发表了一篇名为通信的数学理论的论文，标志着现代信息论的开端。在此之前，关于信息的定义很多，但没有一样可以引入数学，也没有想过利用数学工具来解决信息方面的问题。香农在这篇论文中首次引入了信息熵的概念，使我们可以实际计算信息量的大小。熵原本是一个热力学概念，描述的是一个物理系统混乱程度的大小，与之类似的信息熵描述的则是信源的不确定程度，一个系统获取信息后，其不确定性会相应减少，因此香农说，信息是消除不确定性的东西，而信息熵则是指信息中排除冗余后的平均信息量。香农的论文发表后，在学术界引起了轰动，人们争先恐后的将香农的理论应用到关于信息的各类领域中，取得了丰硕的成果，香农也因此被公认为信息论的开拓者。

我们怎样才能获取信息呢？许多人会说，当然是靠测量了，只有通过观测才能获取一个系统的信息。经典意义上的测量似乎不会改变系统的性质，然而我们知道，宏观世界是由符合量子理论的微观粒子组成，而测量理论是量子论的核心概念之一，因此经典测量产生的经验和印象只是一种近似，如果我们坚信信息是在测量过程中产生或转移的，那就必须深入理解量子测量中的信息转化过程。

最能代表量子论的自然是经典的电子双缝实验，我们可以分析这个实验过程中的信息过程。起初电子通过双缝形成干涉条纹，许多干涉条纹组成的图案是一种不确定程度较高状态，因为我们不知道电子究竟会落到哪个亮条纹处，因此双缝干涉条纹的物理熵（玻尔兹曼熵）值高。如果我们有一台测量仪器，用指针偏转方向记录实验结果，当电子从左缝经过时，干涉条纹变成了单缝条纹，电子在屏幕上出现位置的不确定性减少了，因为此时的屏幕上只是一条亮条纹，因此熵值较低。描述电子状态的熵值在测量过程中减小了，说明测量过程产生（或转移）了信息，电子状态熵的差值即为信息量（我们知道这个信息量是1bit，它表示电子是从左缝穿过的这一信息）。此时的测量仪器指针依据冯诺依曼的无限后退理论，指针的偏转方向变得不确定起来，由确定初态变为叠加态，不确定程度增加，熵值增加。如果将测量仪器与电子看作整体，整体的波函数在这种内部测量过程中是不变的，因此可以认为，在内部测量过程中，总信息量不变，信息在仪器和电子这两部分中转移时，总量不变，仪器少了多少信息，电子就多了多少信息。此时，有1bit的物理熵由电子转移给了仪器，或者说有1bit的信息（熵）由仪器转移给了电子（因为单缝电子的空间分布函数比双缝干涉电子的空间分布函数更集中，更确定）。因此，物理熵与信息熵符号应该相反，信息是一种负熵。如果再引入第三个元素：一个人看了测量仪器一眼，指针由叠加态坍缩到向左偏转，可以发现，此时，仪器电子组合系统物理熵减小，信息由观察者转移给仪器电子系统，观察者的物理熵增加。

信息熵概念的提出解决了信息的度量问题，因此，在通信领域占有很重要的地位。香农借助信息熵的新概念证明了他的信源编码定理和信道编码定理。其中，信源编码定理确定了信息压缩的限度，而信道编码定理确定了一定的信道容量下信息的最大传输速率。信息的度量或计算问题的解决，有助于理解与人的行为相关的问题，因为信息是物质与人的桥梁，任何信息都必须以物质或能量为载体，然而信息不等同于物质或能量，它是独立于物质或能量的新的元素，而且可以从一种物质传递给另一种物质。信息还有一些独特的特征，例如，同样一句中文，我们可以从中获取信息，而不懂中文的美国人听起来就是无法理解的噪声，如果他有一部汉英词典和相应的语法规则说明书，即使不懂中文也可以获取其中的信息，这就是著名的中文房间。由此我们可以猜测，自然界中广泛存在的大量噪声，或许就是还没有找到破译规则的信息，而一旦找到某种翻译规则，我们或许就能够听懂更多大自然的语言。实际上，科学家们总结出来的各种公式、定理，就是让我们能理解自然的翻译器。

关于信息的计算，经常会用到一条原理：最大熵原理。由于信息熵和物理熵形式的一致性，信息熵和物理熵之间必然存在许多相似之处，甚至可能存在某种更深层次的联系，而且可以说，物理系统微观状态取等概率假设时的物理熵公式就和信息熵公式等同。在物理学中，熵增原理是极其重要的，而在信息论中与熵增原理类似的工具就是最大熵原理。它的意思是说，由于信息熵取决于系统概率分布函数，因此是概率分布的泛函，在一定约束条件下的某个概率分布如果使信息熵取极值，那么这个概率分布就是实际分布。当概率分布函数为连续函数时，就可以应用泛函分析中的欧拉-拉格朗日方程求解。最大熵原理的提出，为许多与信息相关的工程技术或社会科学领域的问题提供了强大的数学工具，从而获得了广泛的应用。

尽管关于信息熵与热力学熵之间的微妙联系人们还存在一些争议，但是毫无疑问，信息熵的概念是信息论中的核心概念，它将数学引入了信息论中，使信息论成为一门成熟的科学。香农的信息论不仅在实用的通信领域大放异彩，而且第一次将信息这一概念摆放到同物质、能量同等重要和同等基础的地位上，从而开辟了全新的科学领域，为许多工程和社会学领域注入了强大的生命力，加深了我们对世界的理解程度。