恐怕没有人会否认我们生活在信息时代。可是，什么是这个定义我们时代特征的这个东东，什么是信息呢？不问则已，一问发现不是没有答案，而是众说纷纭。这里，把俺接触到的若干信息概念给叫出来瞅瞅，算是支持 倪鹏云老师倡导成立信息本质探讨圈子 。 （1）先说来自电子工程和通讯领域里的香农（Shannon）信息论。这个定量的理论给了我们一套数学工具，可以对带宽、噪声、信息量等等的相互关系进行量化的处理。可是，它既不定义信息，也不关心意义。香农最初的论文标题叫做通讯的一个数学理论（A mathematical theory of communication，既不是后来出书时候的 The Mathematical Theory of Communication，也不是后来大家习惯所称的information theory）。他在其中明确表示该理论不对付意义方面的问题。矿工全部救出来了这条消息，在特定编码空间里和传输条件下，跟矿工全部埋起来 了，相区别的程度，相混淆的概率是可以计算的，由此可以确定其信息量等等是可以的，在语言研究、密码学等等也大有用武之地。可是，要帮助我们理解这条消 息的意义，大概是无能为力的。具体说来，这里的原因在于香农信息论只对各个可能信号的概率进行量化。香农自己就曾经写过一篇短文，叫做游行彩车 （The Bandwagon），抱怨对他的概率量化理论的滥用，把该理论糟蹋成游行彩车，谁见了都往上跳。 （2）再举一个量化理论的例子：算法信息论（Kolmogorov，Chaitin；在加拿大滑铁卢的李明教授是这个东东的权威）。它的基本思路是可以用生成特定比特串的机器的复杂度，来度量该比特串的复杂度。跟图灵机可以相通，跟香农信息论也有一定联系，但是依然不能对付意义。 （3）第三个量化理论是Rolf Landauer提出来的，把热力学跟信息操纵联系起来，其大意是把信息的不可逆丢失（比如两个比特通过与门变成0，而从这个0，你不可以再知道当初输入那个是0，那个是1）跟热的释放定量地联系起来，每丢失一位，释放的热量跟 kT 成正比（其中 k 是玻尔兹曼常数， T 是器件的温度）。这个理论把信息跟热力学意义上的秩序以及（不）可逆性直接联系起来。 好，量化的理论说完了。下回说点和意义有关的信息概念。
标签: 算法信息论
