wolfewu的个人博客分享 http://blog.sciencenet.cn/u/wolfewu

博文

从新皮质层Neocortex开始

已有 4591 次阅读 2014-2-7 22:41 |系统分类:科研笔记|关键词:学者| 深度学习, Learning, hierarchical, deep, temporal

声明:这篇文章摘自Dileep George的博士学位论文《How the brain might work》


Neocortex新大脑皮层(拉丁语,表示“新皮层” 或者“新外壳”),也被称作为neopallium(“新壁炉架”)或iscortex(“外壳等价物”),是哺乳动物大脑的一部分。它是大脑两个半球的外层,由六层结构组成,各层用I到VI标记(VI是最里层,I是最外层)。新大脑皮层是大脑皮层的一部分(与古皮层和原皮层连在一起,而这两个皮层是边缘系统的一部分)。它涉及到更高级的功能(相对于大脑的基本功能)例如感观知觉,运动指令的产生,空间推理,理性思考和语言。

——Wikipedia

 

如果从机器学习的观点来看待对大脑的研究,就会发现不论机器学习以及分类算法设计得多么牛X,这些方法,即先训练参数化自适应模型再通过某种准则调整参数来完成新的分类任务的方法,都隐含着一些机器学习的基本问题。

 

“没有免费的午餐”(No free Lunch, NFL定理),没有学习算法内在地比其他学习算法优越。如果说解决一个具体问题的算法比其它的优越,它只不过因为这个算法探究了适合这个问题的假设条件。同一个算法不可能很好地解决与原先假设完全不同的问题。这就意味着,为了使算法有效地解决问题,机器学习的研究者必须将目标问题领域的先验知识嵌入到最初的模型结构中。嵌入的先验知识越多,训练起来就越容易。这是否意味着我们需要为每一个试图用机器学习来解决的新问题创造一个新的模型?这实在是太费力了。

 

话说回来,人类和其他哺乳动物解决问题的方式是不一样的。人类会学习,能够适应原来没有遇到过的新问题。很多研究者都猜想新大脑皮层是使用相同的基本算法来学习不同的模式。这意味着我们学习听觉、视觉、体觉感知以及语言都是同一种算法在运作。很多研究发现都支持这样的观点——通用皮层算法是存在的。

 

将通用皮层算法和NFL定理组合在一起,就可以得到机器学习的重要推论,并可由此创造新的智能机器。表面上看,NFL定理看起来给存在通用皮层算法的想法带来了不少的麻烦。一种机制或者算法如何才能很好地就完成听觉、视觉以及语言这些不同的任务?答案来自NFL本身,也就是我们需要探究的问题的前提假设。也就是说,通用皮层算法与NFL定理是可以相互保持一致的,只要我们能够发现学习视觉、听觉和语言的相同基本假设。如果说大脑皮层善于使用通用机制学习各种各样的任务,那么在这些看起来完全不同的任务之间就一定存在着某种通用的东西。生物的进化一定发现了这种通用性的东西,而新大脑皮层就是它的操作主体。

 

从NFL定理出发可以得出这样的结论:一种统一的学习理论在本质上就是一种统一的假设理论。如果输入是从未遇到过的信息,学习机用于预测输出的假设集合就被认为是学习算法的“归纳偏向”。我们所做的假设越多,学习就越容易。然而,我们所做的假设越多,我们所能解决的问题数量就越少。如果想要设计解决一大类问题的算法,我们所要回答的就是:什么样的基本假设是足够具体的,以使得在合理的时间内实现学习;而它(们)又足够一般以能解决一大类问题?这就是要研究新大脑皮层所需要做的。

 

对新大脑皮层实施反向工程是个令人望而生畏的问题。如何搜寻这些统一假设?脑中有许多解剖学和生理学的细节;如何知道那个重要,那个不重要?什么只不过是生物学上的细节,因为只有神经元在起作用;什么才是绝对不能漏掉的重要计算原则?

 

同时研究新大脑皮层和现实世界是个不错的策略。研究新大脑皮层的解剖学和生理学结构会为找到关于它所作出的假设的本质提供重要线索。研究新大脑皮层的组织结构,就需要寻找与学习的观点有关的一般原则。因此,只需要选择那些能够在现实世界中找到对应物的一般原则。如果新大脑皮层中的一种组织结构特性与现实世界的一种组织结构特性(也就是一般原则)相匹配,就有理由肯定找到了一条与学习的观点有关的一般原则。

 

记忆-预测框架

Jeff Hawkins 在《人工智能的未来》中从生物学观点和计算的观点出发,提出了大脑皮层运作理论,称之为记忆-预测框架。其主要观点如下:

  1. 新大脑皮层为输入其中的空间和时间模式创建了一个模型。创建这个模型的目标是为了预测输入的下一个模式。

  2. 大脑皮层是由一种称为规范皮层回路的基本计算单元反复复制构成。从计算观点来讲,这样的规范回路可以看做是被反复复制若干次的节点。

  3. 皮层被组织成为层次结构,这意味着上面所说的节点彼此连接形成了树形的层次结构。

  4. 皮层的功能就是对它所“看到”的世界进行建模。这个模型是一种时空层次结构,结构中的每一个节点都存储了模式和序列。它随后就用于对输入进行预测。

  5. 新大脑皮层以无监督方式对现实世界建模。

  6. 结果中的每一个节点都存储了大量的模式和序列。皮层就是依靠这些模式来进行模式识别。

  7. 一个节点的输出是用它所学习过的模式序列表达的。

  8. 消息在层次结构中向上和向下传递以识别和分辨信息,并且还在时间上向前传播以预测下一个输入的模式。

记忆-预测框架的数学表达形式就是层次瞬时记忆(Hierarchical Temporal Memory, HTM)。





https://m.sciencenet.cn/blog-1245419-765452.html

上一篇:初识 Hierarchical Temporal Memory

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-6-4 00:10

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部