发上一年前在集智作的报告，以及之前和jake的一些讨论。回过头来看，一年来对智能的探索虽然由于各种原因进展缓慢，但自己还是一直在一步步前行，前路也由模糊不清变得依稀可辨。

能量流和有序结构、尺度无关和分形、临界态、层次，

虽然当时对这些问题的认识很肤浅，但拿它们作为切入点现在看来没有错，而且已经有了更深的认识，会陆续发上来。

------------------------------------------------------

尺度——当今复杂系统中的一个最大谜团 分形  尺度  人工智能  

jake  2011-11-15 10:03:36　

缘起：上周末xiaoda在集智俱乐部作的有关计算神经科学的报告：http://www.swarma.org/bs/viewforum.asp?id=17409。我个人以为这是参加“探索脑跑题阶段”以来听得最好的一次讲座了，非常对我的口味。

我现在不清楚的是，层次在计算机科学中的进展如何了？因为前几年就有多分辨率分析算法，小波变换就是一种在图像处理中运用最多的一种多分辨率分析工具。当我从物理的角度切入复杂系统研究的时候，尽收眼底的关键词就是：Scale, Scaling，后来发现物理学家对这个概念的认识起步很早。大概在20世纪初期，对湍流的研究中，Kolmogrov就开始用多尺度的概念来研究流体。后来60、70年代，在相变临界现象中，就会呈现出多尺度效应，尺度不变性和长程关联。甚至物理学家发明了一整套称之为重正化的方法，参见：http://www.swarma.org/bs/membership/viewelite.asp?id=15652&user=jake，有趣的是，重正化方程不再是关于时间、空间的方程，而是关于尺度的方程！只可惜，在此之后，我没有看到更多有关尺度的新进展，除了一个看起来不太靠谱的尺度相对论以外，还有吴剑锋给我推荐的还没来得及看的《共形场论》以外。进入到复杂系统后，到处能看到标度现象，从分形到股票市场比比皆是。但是这些现象仅仅是唯象分析的多，没有什么更深刻的见解。我一直猜想会有这样一种物理学研究：类似经典统计力学，通过最大化某种熵，得到分形是一种最可能的解。（其实物理学家早已经常是这种思路了，参见：Tsallis等人的非可延展统计力学（http://oldweb.ct.infn.it/~cactus/researches/nonext-stat-mechanics.htm），通过最大化Renyi熵得到长尾分布，以及关于最优输运网络的研究（http://www.swarma.org/thesis/detail.asp?id=206），空间嵌入的最优化输运网络自然具备分形特征。）但是，总觉得这些理论、模型还不够给力（说实在我也说不清楚什么叫做给力的模型）。

听了你的报告我才知道，实际上计算机科学家也开始思考关于尺度不变性的东西，并且发明了这个多层次计算模型，只不过这个多层次模型现在看起来还有点粗糙，而且不知道它的效果怎么样。我非常赞同你的观点：自然界是分形的，所以人类大脑必然体现出多尺度的特征，但是这种多尺度特征隐藏得很深，可能并不简单地存在于物理层，而是存在于信息处理的逻辑层。进而，我们应该如何构造一个多尺度的计算模型来更快速、有效地解决自然的分形问题（例如分形图像识别、多层次语音识别）等问题才是更加激动人心的研究主题。

xiaoda99 2011-11-15 23:08:25  

承蒙jake表扬:) 其实我原来没怎么接触过统计物理、复杂系统，对多尺度、分形、层次的形成等这些东西也没什么概念。直到最近才慢慢感受到这些是很本质的东西，很可能是解开大脑之谜的钥匙。

通过这次讲座，又进一步理清了思路：物理世界中，时空局部性、层次、尺度不变等是怎样一步步涌现出现的，这一过程又是怎样在大脑的进化中重演的？

讲座结束后突然有一个想法： 时空局部性、层次、尺度不变性三者中，前两个更为本质，后一个是结果。也就是说，只要假设层次的存在和每一层次上的时空局部性，就必然导致尺度不变。我之所以这样想，是因为猜测时空局部性和层次都可以和某些基本物理定律对应。例如空间局部性可以和相互作用的局部性对应（万有引力和微观粒子的相互作用都是距离越近，作用越强），时间局部性可以和惯性定律对应。层次的形成还不知道和什么基本物理定律对应。

据我了解，统计物理和复杂系统的概念和方法在计算神经科学和机器学习领域还没得到太多关注。我讲的两个东西都属于非主流。计算神经科学里，一个比较偏物理的学派涉及到Ising model、最大熵等， 例如William Bialek和Ga?per Tka?ik这两个人的研究。我比较喜欢，但没有涉及到层次。机器学习里现在deep belief network等deep learning算法现在倒是比较热，但只是通过实证知道hierarchical比非hierarchical好，至于为什么好，很少有人从我们感受到的物理世界怎样由层次形成的角度思考。

jake 2011-11-16 13:10:17  

难点是物理里根本就没有说层次这回事,层次是一种信息的概念,而不是物理概念.物理中只有标度,以及粗粒化(这涉及到层次,但是一种近似方法,而不是基本的物理量).

我觉得从计算科学角度研究多层次标度的方向是沿着图像处理问题出发,看如何把物理中有关多标度的熵甚至量子力学引进来,这是一个有可能成功应用的方向.

　另外还想问的是,虽然说你讲的<人工智能未来>这本书中的模型虽然看起来很好,但是否有很好的实际应用呢?为什么很多人说这种研究是民科?如果要深入研究层次这个问题,必须从具体的模型切入,<人工智能的未来>中的模型是不是一个好的切入点呢?

公开活动.pdf

公开活动2.pdf