前不久在博文《纪念明斯基：人工智能研究的悲观与乐观》讨论期间，陈立平和陈京两位老师发贴建议我讲讲“什么是神经深构造运算”和实验室的“工作与模型的目的”，我答应抽时间写篇文章。春节前后实验室工作一直未停，没有动笔，一拖x天。很抱歉。这里把我们实验室以前的一些技术讯息汇整成文。不做正式的技术定论，仅供参考交流。
类脑计算研究，现在正处于像莱特兄弟那时的早期阶段。我们实验室估计是国内起步最早的，但知道的人较少。例如，清华大学2012年开始安排脑计算研究，2014年成立的类脑计算中心。我们2011年就建立了实验室，而深构造理论研究时间更早，2004年之前就开始了。（可参阅我们组的一篇早期文章《脑科学基础研究的四大困境：反思与评论》）
类脑计算，目前已在世界上成为热点，还没有形成真正的主流方向，都在同一起跑线上，各走各的路，各吹各的号。俗话说，外行看热闹，内行看门道。我们的总结，现在的类脑研究实际上存在着两种技术方向：一种是“走出诺依曼框架”；一种是“基于神经科学的计算机算法”。表面看有点相仿，但细究起来本质不同。
几十年前，ANN就在做超越诺依曼框架的努力了，现在多数在做的神经形态芯片、神经形态计算机，以及深度学习硬件化等，仍然没有脱离ANN这个基本框架。但这是“类脑研究”吗？肯定者认为，ANN模型是基于突触可塑性的仿真，所以赞成；否定者认为，神经元树突的结构和工作相当复杂，而现有的人工神经元模型太简单，所以反对；我们属于后者。
关键问题在人工神经元的计算模型上。我们的看法：由于没有真正地实现对生物性神经元树突的结构和工作模式的仿真，因此，ANN（包括深度学习）本质上不是生物性的神经网络，它的工作模式本质上也不是脑神经的工作模式。两种工作模式差之千里。所以，试图超越诺依曼框架的“类脑计算”，并不等于是基于神经科学的计算机算法。
“基于神经科学的计算机算法”是一个很高的目标，实质上是在号召超越ANN框架和摆脱权值计算模型。目前，国外估计有两三家在做这种研究，国内可能只有我们这一家。其余的各家各派的“类脑计算”，不管是软件还是硬件，都仍在ANN的框架圈圈里打转转哦。我们的“神经深构造运算”和正在测试的Mindputer样机，属于“深构造网络”新概念上的数学工具和计算模型。以下着重介绍这方面的情况。
“深构造网络”做为一个新概念，最初的思想源自于原“脑/生态学比较研究组”的新适应主义生物学理论研究（详见2009年研究组在前沿科学11期发表的长篇论文《论生命深构造：它的概念、方法和趋势》）。2011年，研究组转型为实验室，2012年出版的《The Brain’s Super Intelligence Analysis》著作首次对“神经深构造”概念给出了基本的理论框架。之后，实验室逐步深化这个框架，逐渐形成了关于“深构造网络”的技术猜想、技术标准和实验目标。
深构造网络猜想基于这样的一种理想假设，即：无论脑神经网络如何复杂，都可以被逐步拆解为一批简单的基本网络单位。基本网络单位的鉴别标准是：
1） 当一个复杂网络被拆解到这种程度时，即该网络单位内的全部神经元，只服务于一个单一的工作任务或记忆内容；则可被鉴定为是“基本单位”。
2） 在基本网络单位中，神经元间的联接结构都可以简化到在一个平面内。或可看作为单一平面内的神经元联结关系，简称为“单体网络”。
但是，脑神经网络实际上是无法被这样拆解的。在脑中，根本找不到任何一个理想化的单体网络。任意划出一个微小的局部神经网络，其内部的神经元大多数都服务于许多个工作任务或记忆内容，或者说与许多个神经工作流程相关。其树突上丛毛状的突触，与许多其它流程的神经元相联。这种复杂的网络关系，造成我们无法分离出任何一个单独的工作任务或记忆内容的网络平面。
“深构造网络”的猜想是：如果几个单体网络间发生局部性的叠加（称为“复合网络”），且它们中叠加部分的神经元对应性地形成复合（称为“复合神经元”）如图所示；如果复合神经元保留有原承担的为各单体网络服务的功能；那么则可做出理论推测，这些复合神经元之间能够形成一种特殊的“结构关系”及其调制功能，这种“结构关系”能够在复合网络形成后，使原各单体网络的工作任务在发生竞争时能够被有效地协调做出相互间的让步或优先。
或者说，神经深构造理论认为，脑神经再复杂，都是能够通过它的“复合神经元之间的网络结构”，来调制其内部错综复杂的工作模式之间的竞争性。深构造理论将这种“复合神经元之间的网络结构”称为“深构造”，而将理想化的单体网络中神经元之间的那种结构关系称为“浅构造”。深构造理论认为，深构造能够解决不同竞争条件下的工作任务之间竞争时的让步和优先秩序的调制。因此，将深构造看作是脑神经中的调制中枢，而复合神经元则看作是调制神经元。
《The Brain’s Super Intelligence Analysis》一书，对脑神经的深构造的建构法则做了基础论证。提出预言：脑的复杂性的本质是深构造，脑的思维机制和超级智能的奥秘蕴藏在深构造的建构法则之中。并认为：现有的人工神经网络均属于单体网络，属于浅构造性质，浅构造网络只能将智能的功能程式分拆出来分别在计算机上模拟，而只有深构造网络才能够建立起智能的自我生成和进化机制。
从实验意义上讲，深构造网络猜想为理解脑神经提供了一个新的模型路径。因此，发展基于人工深构造神经网络的计算方法就成为了一个新的课题。这就是“神经深构造运算”的产生背景。“神经深构造计算”是在神经深构造理论基础上，通过研究和实验深构造网络，而发展出来的新的计算技术，基本定义是：关于深构造网络的分解、合成、分析、设计和建造的计算方法，可用于对生物性脑神经网络的高逼真度的结构分析和功能仿真。
我们为“神经深构造计算”设定了四个技术标准：
1）使单体网络的工作任务在复合网络中能够继续维持不变。
2）使单体网络中的不同工作任务能够在竞争时形成协调让步。
3）使复合网络中的不同工作任务之间边界清晰和地位明确。
4）使深构造的合成过程与逆向的降解过程的均有效运算。
神经深构造运算包括两大方面：1) 发展基于生物神经元树突的构型转换模型，该模型不同于现有的人工神经元权值计算模型。包括构型转换的规则与计算，进化的规则与计算。2) 建立起单体/复合网络之间的合成/降解的正逆过程的深构造运算规则。包括：合成规则与计算，降解规则与计算。
“深构造脑模型”是研究和发展“神经深构造运算”的实验基础。这项研究经过了3个阶段，第一阶段：设计、试验、建立“生物神经元树突模型”。第二阶段：设计、制造、试验基于生物神经元树突模型的模拟电路。第三阶段：设计“深构造脑模型”并进行整机组装和实验。
深构造脑模型的成熟过程：
2011年7月, 神经深构造运算与脑计算机实验室建立；
2012年5月, 生物神经元树突模型设计完成；
2013年7月 多丛异分处理器概念设计完成；
2014年6月 多丛异分转换器电路试制成功；
2015年1月 多丛异分处理器软件调试完成；
2015年6月 Mindputer 1号机样机组装完成；
2015年9月 Mindputer验证深构造网络猜想。
深构造脑模型的实验目标是：通过人工的技术手段，建立一个深构造的复合网络体，并通过测试来检验该网络体中的运行是否符合上述四个关于神经深构造运算的技术标准，以此验证深构造网络的猜想的真实性，以此证实“深构造网络”的客观存在性。在此基础上进一步实验研究生物脑与脑模型之间的网络结构的相似性和功能对比。
深构造脑模型的关键技术难点在于如何使几个分属的神经元能够融合转化为一个跨多个单体网络的合成体神经元。它需要摆脱现有人工神经元模型普遍采用的权值计算方法。实验室依托对生物神经元树突内的构型转换的研究，经过多种试验，发展出一种新的神经元数学模型，使其能够解决神经元间的复合和构型转换的计算问题。这种新的神经元模型被命名为：多丛异分处理器 （Multi-Clusters Transforming Processor, MCTP）。
2015年初，实验室开始整机实验，将许多个多丛异分处理器连接组合到一起，经过对样机的硬件电路和软件的进行了多次的调试和修改，实现了系统内部的正常运行。6月，世界上第一个小规模的深构造仿真模型就这样在戴瑟尔实验室里诞生了。我们将这个样机命名为：“Deep Structural Brain Model”(深构造脑模型），呢称：“Mindputer”（脑计算机或思维机）。
截止1月底，实验室已经使用该样机进行了12次的深构造网络试验，实验证明，该模型能够将多个单体网络叠加转化为某种深构造的复合网络。深构造可根据不同的需要来设计。新形成的复合网络仍然能够保留原来各单体网络独立的信号工作过程。测试证实，不管怎样改变复合网络体内的复合神经元的设置，都没有出现信号混淆的现象发生，只会改变各单体网络间的让步优先秩序。实验证明：深构造网络是一种客观事实存在。
另外初步的对比验证可以确认，该脑模型所表现出的一些功能特征，与生物脑的一些功能特征相近似。我们计划展开一个系统的对比实验验证，希望能够逐步地明确一个标准的深构造脑网络模型的全部基本特征；并在此基础上，建立起与生物脑神经系统的全部基本特征的对比。我们期待，通过全面的对比验证，能够进一步证明《The Brain’s Super Intelligence Analysis》所提出的关于“脑神经是深构造网络”的假说。
客观地讲，我们的试验才刚刚开始，还存在不少问题。就四个技术标准而言，其中的第1、2两个标准已经完全实现；第3个标准中的“边界清晰”已经实现，但“地位明确”还有未解决的问题。第4个标准中的“合成运算”已经实现，但在“降解运算”还存在诸多问题。对神经深构造运算的技术有效性，我们现在的评分是，第1标准/ 100分，第2标准/ 85-90分，第3标准/ 70分，第4标准/ 50分。
我们的Mindputer Lab，小而精，走出了一条深构造网络的类脑计算之路，这是个无人区；今后试验的工作量很大，我们正在对已有的试验中暴露出的各种问题查找原因，我们正在改进计算方法，也正在简化计算方法。有关这方面的正式的实验数据、测试结果、对比验证等等，还需要以将来的论文为准。有关神经深构造运算的技术方法和模型，也需要以将来的专利为准。
——孙大帅曰：革命尚未成功，同志哥们还需努力！
转载本文请联系原作者获取授权，同时请注明本文来自华春雷科学网博客。
链接地址：https://m.sciencenet.cn/blog-2910327-958086.html?mobile=1
收藏
