最近和jake和计算士的讨论，脑子里的信息结构经过头脑风暴的随机扰动后，不经意间自发整合成有机体，焕发出全新的活力。茅塞顿开，十分兴奋！把想到的东西记下来，供大家进一步讨论。

最近一年多以来，我主要纠结于三个问题：

1）从非平衡态统计物理的视角，能量冲的冲刷怎样产生自然界的有序结构，涌现出生命？或与之类比的，信息流的冲刷怎样产生脑的有序结构，涌现出智能？

2）自然界和大脑中广泛存在的无标度和分形现象，证明这些复杂系统处于临界态（参见我之前写的自然图像的制尺度无关性和文章）。复杂性和临界态有什么关系？

3）另一方面，自然界和大脑中广泛存在层次结构，复杂性和层次有什么关系？

昨天突然意识到，这三个问题是有紧密联系的。

Chapter 1

让我们还是从玻尔兹曼机（BM）开始。我们知道，BM学习算法有正学习（记忆）和逆学习（遗忘）两个阶段，前者加强两个同时发放的神经元间的突触连接，使系统趋向有序，对应于减小系统在感知态的能量E，后者削弱两个同时发放的神经元间的突触连接，使系统趋向无序，对应于增大系统在平衡态的熵S，或者理解为通过引入随机噪声避免过拟合。整个过程看做通过消耗自由能F（= E - S）做功塑造网络结构。因此，BM是信息流冲刷产生有序结构的一个原型。

Chapter 2

BM的最为反直觉也是最深刻的启示是：逆学习（遗忘）有举足轻重的作用，它让系统在辛苦的学习之后进行消化和调整，以维持一个相对“健康”的状态而不至于因为不间断的学习而累疯掉。这里一个容易想到的问题是：逆学习要做到什么程度？导致无序的遗忘和导致有序的学习间怎样协同？在原始的BM学习算法中，正学习和逆学习同时进行，遗忘作用相对记忆的强弱（对突触连接权重的改变量）完全由输入数据决定。但是在实际学习系统（如大脑）中，两个过程可能并不同时发生，而且遗忘作用的相对强弱也很难由输入数据精确控制。不妨假设你的大脑在白天学习，晚上睡觉的时候遗忘。忘的太少，容易产生过拟合；把所有白天学的都忘掉，让整个网络完全无序，显然也不是想要的结果。你的大脑怎么知道遗忘多少恰到好处呢？也许，大脑聪明的通过遗忘把自己调整某个最佳状态，以适合第二天继续学习。这个状态既不能太有序，也不能太无序，对，临界态！

Chapter 3

可是最关键的问题是：临界态究竟好在哪里，让大脑孜孜以求呢？可以从两个方面解释：

1）我们已经知道，大脑接受的很多输入数据（如自然图像、语言等），本身就具有分形和临界特性，表现为尺度无关、Zipf律等。以这样的数据长期训练大脑，使它已经把输入是临界的作为先验，即使在不清楚实际输入统计特性的情况下，也尽可能使自身也处于临界以和外部世界保持同构。

2）大脑对临界态的偏好，还有个更精巧的解释。处于临界态的系统有个非常重要的性质，就是经过某种变换（编码）后得到的新系统（位于一个更高的层次）仍然处于临界态，用重整化群的语言来说，它是这种变换下的非平凡不动点（参看jake的文章）。如果把学到的表示当做输入数据本身，再学一层。这新一层的表示仍将是临界的，于是可以在其上再学一层。。。一直做下去，就得到一个无穷尽的层次结构。大脑每学一层，就对输入数据有了更深一层的理解。而上面提到的变换，就是对信息的重新编码和表示。对，这就是deep learning！

上面的故事虽然只是梗概，但我们已经看到流产生有序结构、临界态、层次这三个角色的轮番出场和互相配合。如果这个看似天方夜谭的故事是真实的（我希望并倾向认为它是），我们可以作出下面两个猜想：

1）如果把信息流等价于能量流，包含分形（即具有临界特性）的信息流的能量是（理论上的）无穷大。

2）以这样的信息流冲刷（训练）一个无序系统，同时通过系统自身的最大熵趋势把系统调节在临界态，最终将演化出一个（理论上）无穷多层的结构。