科学网 › 标签 › 符号主义

标签: 符号主义

相关帖子	版块	作者	回复/查看	最后发表

没有相关内容

相关日志

《AI 理性主义的终结是不可能的吗》: liwei999 2020-7-20 14:23; 这注定是一本小众冷书。但愿所传承创新的符号自然语言学术，丝相连、藕不断。有如人工智能理性主义的潮起潮落，庶几留下一声历史的回响。谁知道呢，五十年河西，“神经”恐非历史的终结。钟摆回摆的时节，历史或被重新发现。摘自《写在NLP小书出版之时》宋：@wei 祝贺立委心血之作付梓！做科学，真知灼见；讲科学，深入浅出！王：祝贺李老师出书，一定拜读！我觉得符号主义的香火是不会断的，因为无论符号主义还是统计主义，本质都是数学建模，都来源于对实际语料的考察(人工的或自动/半自动的)，而且都有加入人类主观知识的操作空间(包括调整模型，引入新的变量或调整参数)。更深层次的争论点，也许出在“计算语言学/自然语言处理需不需要(或者有没有可能脱离)人类总结的关于语言的知识”这个问题上？李：@王，谨慎（不）乐观。我是这样看的。先回顾一下亲身体验。当统计MT取代规则MT的时候，虽然知道是大势所趋，心里是不服的。统计MT虽然鲁棒，普适性强，但质量难以恭维，心里总在嘀咕，给我资源我会杀回来的。但是到了神经MT的时代，那是彻底服了。给我再多的资源，我也无法逼近神经MT；这不是说规则系统不能对神经MT有补充、改良的作用，但最多也就是帮助神经擦屁股，担当不了主力。擦屁股的地方当然有，譬如帮助克服神经张冠李戴指鹿为马的毛病，或者是在神经使不上力气的地方，譬如领域场景没有足够翻译数据可供训练的时候。如果以MT作为前车之鉴，面对神经，以前对于规则的自信的确受到了挑战和挫折。但是好在 MT 是个特殊的 case，不但有几乎无穷的免费的人工翻译的平行数据做训练，还有更加无穷无尽的自然语言原始语料可做语言模型（我们每说一句话，就是做了一次标注，标注什么是合法的语言现象）帮助语句通顺。而规则系统的语言生成根本上是在那里拿每个词的译法凑，无论如何达不到语言模型的通顺度。其他的 NLP 任务和场景呢？这就回到了对 AI 理性主义命运的看法。不好说。现在有预训练，也是有无穷无尽的数据。理论上讲，等到预训练足够丰富发达，后面的语义落地就可以变得很薄。预训练好比是代替或隐含了句法结构解析。而且，词典习得（lexicon acquisition）乃至本体知识库的习得（ontology acquisition）与构建，很大程度上也是可以直接从原始数据开始的，最多是插入一些有限的快速人工校验。这样看来，预训练+词典习得+神经，保不定哪一天“终结”了NLP理性主义，也不是不可想象的。果如此，是值得庆贺的。钟摆业已升天，使命已然完成，有什么必要盼它回摆呢？谨慎乐观也是谨慎不乐观。因为迄今为止，垂直领域呼唤语言技术，嗷嗷待哺；这边厢闹得动静那么大的神经就是使不上力气，这种事儿我们在第一线看得多了。垂直领域NLP的主流，没标注数据就傻眼。宋：理性主义永远不会灭绝。理性主义代表人类对于未知的好奇和探求，包括对于语言规律的好奇和探求，这是人类社会发展的基本动力之一。詹：其实，“理性主义”跟“经验主义”这样的对立方式，至少在顾名思义的层面上，容易误解：好像凭经验办事，不够理性似的。要搞清楚这两个名词的来历，可能需要到哲学故纸堆里找半天。从某种意义上，预训练模型应该也是比较理性的吧。语言学追求的是范畴化的知识表示，是可理解的清晰的语言模型（因果关系）。机器学习追求的是数据（输入：输出）之间的函数拟合关系（相关关系）。二者也不是矛盾对立的。大数据+深度学习可以带来机器翻译的效果有明显提升，但同样明显的是，它还是没有理解句子的意思。要戏弄机器翻译系统，仍然是轻而易举的事情。这个不像围棋，深度学习的围棋智能，人类已经干不过机器了。语言不是竞争的游戏，而是合作的游戏。在理论层面，我丝毫看不到预训练模型有什么能像人类那样理解语言的机制。人类理解语言有两个层次：（1）显式符号层次；（2）隐式认知层次。语言学，尤其是基于结构主义分布思想的语言学，基本上就是对显式符号层次的观察，并将语言知识范畴化、系统化。语言学家做的工作，跟预训练模型做的工作，没有本质的区别，只是分布颗粒度的区别。在细颗粒度尺度下，神经网络对符号分布的刻画（抛弃范畴化的分布）比语言学家的描述更准确。但是，”分布“ 跟 “语义”的差距还是很大的。“分布”只是冰山一角，看得见的“言语”。“隐藏的认知”可能才是“语言”的真相（全貌？）。任正非：发展芯片，光砸钱不行，还要砸人 2019年05月21日 09:52 新浪科技综合 https://tech.sina.com.cn/it/2019-05-21/doc-ihvhiews3388256.shtml 要从大数据里学到“砸钱”、“砸人”、“砸锅”、“砸饭碗”的“意思”，我还看不到头绪。一个亿广告砸出一百个亿的销售额。人如何理解“砸”的意思的？是靠分布吗？梁：先有了“砸了一大笔钱”之说，然后才类比地理解了什么叫“砸人”，詹：是，理解一定需要“类比”能力。不理解也可以翻译。现在的NMT机器翻译经常能翻得非常好。梁：“砸”，我的想象是，一个人举起一个很重的东西，拼命向下摔。砸锅砸碗是本意，詹：“砸锅”已经从本意引申出去了。“砸碗”也可以不真的砸“碗”了梁：如果一件事情被我搞砸了，那这件事对我来说应该是比较重要的事。詹：真真假假，虚虚实实，语言不是“坚硬之物”，信息符号常常可以不费力气的“揉巴”变形。是的。“砸”里边有“力度大”这个“语义”。我怒砸一块钱赌特朗普连任。梁：人的认知结构里，有重要不重要之说，很多词（概念）围绕着“重要”这个概念 build 起来。詹：是的。一是“重要”，二是“举重若轻”。这两样加在一起，就厉害了。如果总是很实诚地“负重前行“，机器估计能胜任。问题更在于，“轻和重”，不是“物理”，是“心理”。梁：是的，先是“物理的”，后来才引申为“心理的”。詹：一旦从看得见的“物理的”，变成看不见的“心理的”，就不仅仅是“分布”的事情了。梁：刚才想到“距离”这个词，明显一开始是一个物理概念，后来引申义有人与人之间的心理距离，比如还有网络空间距离，如果你我同在一个群里则距离为“1”。荀：个人浅显理解： 1）理性和经验不是对立的。理性的表达，可以在各个语言的不同层级，可以是范畴化也可以实例化，也可以是两者结合，大数据支持下，可以给理性表达赋予概率和上下文。 2）理性和经验都是知识，理性表达一般认为是用人类已有知识和认识，但是机器使用隐式方式，采用了不为人所理解的方式，这样的方式也是知识。 3）经验主义不管用什么方法解决，结果总是要满足人对事实的解释。没有理性引导的经验主义是不存在的。 4）经验主义解决问题是有边界的，解决复杂问题理性方法不能缺位的。詹：同意荀老师的观点。 Bu：宋老师，个人理解焦点问题是“知识是否必须是人能够理解的”。理性主义是从“人理解的知识”出发建立模型。这个苦恼对于其他领域（尤其是物理学）更甚：物理学家一直想理解世界；用DNN之后，效果好了，但是无法理解了。宋：我们好奇宇宙是怎么来的，生命是怎么来的，语言是怎么发生的；我们好奇为什么盎格鲁撒克逊人和汉人隔着万里之遥，会同样发展出相近的句法体系，但词法体系非常不同，文字体系和语音体系完全不同…… Bu：宋老师的这个问题神经网络不好解答。李：各位的讨论非常有意思。宋老师说的理性主义，不是AI理性主义（符号主义），而是哲学理性主义，所问都是站得住的。乔姆斯基藐视机器学习和神经网络，甚至讥笑它们，说里面一点 science 都没有，也是从理性主义探索的哲学角度说话，但看不出能真正为符号主义辩护。连接人工智能实践与理性主义探索的纽带，迄今看来也只有符号主义了，虽然后者常常流于浅薄。的确，我们很容易知道 nmt 不是在理解层次上翻译的。我们也可以针对这点，去巧妙地 “调戏” nmt 软件，让它出洋相，暴露出无知的本质。但这不影响它的翻译能力超过人的平均水平。符号规则 mt 无论怎么显得 “理解” 了语言，“能力” 上就是不如 nmt。正是从这个意义上，我们也许可以承认 nmt “终结”了翻译领域的理性主义。基本上就是宣告：哥们儿，这儿没你什么事儿了。不仅现在没有，未来也看不出你啥价值来，你已经完全出局，还是退休吧。推而广之，假如同样的奇迹在 mt 以外的 nlp 任务中发生，我们是以其理解不足而否认它的碾压呢，还是承认它终结了理性主义的应用价值？ Bu：李老师的终极之问。李：当然，上面的假如，还的确是一个巨大的问号。大概最多需要三到五年可以水落石出。詹：一个NLP任务如果能重新定义为不需要理解，可以纳入end-to-end的框架，神经网络就能做好。也许可以换个比喻？规则系统（我不倾向于使用理性主义来描述符号方法）像是自行车，神经机器翻译系统相当于汽车？不知这样类比是否恰当？汽车的速度当然碾压自行车，但是不是说自行车就要退休了，可能还可以再考虑？梁：@詹卫东汽车自行车的比喻我喜欢。不是说有了汽车，自行车就退休了，进博物馆了。李：作为快速达到目的地的旅行工具，自行车和骑马一样，其实是退休了。自行车后来成了休闲锻炼或临时代步的工具，那是“发挥余热”，类似于给主流擦屁股。实际上，语音处理曾经是以符号规则为基础的。现在还有人哪怕提一下语音需要理解/理性/符号吗？phonology 是语言学的重要分支，它不是简单的物理存在。但speech 的能力上，理性主义早已被终结了，到了甚至提起它，都像是个笑话。当年伤害语言学家、流毒最广的名言：“我每开除一个语言学家，系统性能就上升”，说的就是语音。詹：说真的，我一直很好奇Jelinek真的这样说过吗？这不是明显高估语言学家的能力吗？语言学家建设的能力，和破坏的能力，都比较弱。我是这么认为的。李：他说的是事实，不过用了政治不正确的方式。这个事实就是：理性主义在语音AI领域被终结了， terminated，period. 梁：这里理性主义是指，与神经网络对立的那一派吗？ sorry I am a little lost. 李：对，是窄义，AI 理性主义就是符号主义，因为AI中还貌似找不到不是符号逻辑的理性主义（体现）呢。广义的哲学的理性主义，当然是永远的。做了一辈子符号主义，说老实话，内心有点瞧不起它。不是它不好使、不管用、没有内部机制和学问，而是它就像玩家家似的，自己跟自己玩，哄自己高兴，忽悠大众，具有很大的“欺骗性”。它的所谓“可解释性”，都是“编”出来的。这种“理解”，你要它多深刻，它就多深刻，但与哲学上的人类理性，天壤之别。一个是里子（“玩家家”的游戏实质），一个是面子（可解释的人工智能），我们往往为了面子，拼命维护它背后的里子。也许金玉其外，败絮其中呢，LOL 当然，符号主义也不是那么不堪。他有一个万古长青的优越性，与生俱来的，不可动摇。就是它的可解释性/系统透明性所带来的定点纠错能力（debuggability）。这个优势怎么强调都不过分，这在工程上很重要。NLP 落地应用的有效途径，就是把它当成不断迭代打磨的语言软件工程。系统玩家家的好处是，人面对的不再是个黑箱 monster，而是个错误可追踪、可重复、可定点修复的代码。宋：“博士以后辗转南下，机缘巧合……”（《写在NLP小书出版之时》）其中“博士”是什么句法角色、语义角色？白：@宋柔是一个里程碑。若干个里程碑构成一个隐性的序结构，达到了其中某一个，就处于序当中的一个位置。“……以后”是时间化了的方位词。也可以说，时间只是在推理中出现，此处就是一个方位结构。表明在隐性序结构中的抽象“位置”关系。宋：@白硕你在说我前面提的一个问题： “博士以后辗转南下，机缘巧合……”（李维《写在NLP小书出版之时》）其中“博士”是什么句法角色、语义角色？我觉得不一定存在一个序列。通常情况下，说“X以后”，X可以是表达一个事件的动词短语或事件性名词，如“发大水以后”“水灾以后”。这里是普通名词被看作事件名词，把“博士”看作意为“得到博士学位以后”的事件名词。类似的，“宴会以后”。只不过这个例子作为最常见的解释，“博士”指一个人，“以后”可以是时间词，相当于“后来”，但此处不是这个意思。李：本来写的是“博士后”。觉得不妥，改成了 “博士以后”。前者被词典绑架了不想让读者费力消歧（休眠唤醒挺累的）只好再加一字。宋：还是没逃出歧义。李：对。其实是 “博士阶段以后”，当时是个 abd （all but degree ）而不是 phd，匆匆逃出来打工/创业，再回头去答辩已经是好几年后了。前后跨度七八年，到了学校规定的死期，再不搞定，学位就泡汤了。那种煎熬日子不好过，老觉得有个死刑幽灵在前面徘徊。当时的处境很尴尬，一边厢科研创业做得红红火火，既拿到投资人钱，又拿到政府基金；另一边论文导师非常难伺候，常常是不放行，但也没反馈。走题了，打住。白：名词以后，就暗含一个序了。詹：@宋柔典型的事件名词如“车祸、大雨”直接加“以后”常见。不过“博士”不是事件名词，放在这个构式里，是被“压制（扭曲）”理解为一个事件。这应该是有一定条件的。“序列”是条件之一。小学、中学、大学（本科生）、研究生、博士，……是个序列。这个序列里的词，内部结构并不整齐。博士同时又可以指博士生。白：比如坐地铁，“圆明园以后人就空了”意思是过了圆明园这站以后人就空了。詹：语言的生成和理解（编码跟解码）都有隐形的认知框架在起作用。白：各站的排列就是隐含的序结构詹：隐含的东西有的会在分布中显现。数据够多，也许能捕捉到。但我觉得，永远也不可能靠数据去复原认知。工程上能靠大数据模拟复原一些，当然是很了不起的。绝对不应该讥笑，但也不值得大吹特吹。荀：目标是:基于大数据分布做高频语言事实还原，并能参照人类知识做泛化，进行长尾计算。詹：理性主义就是讲理。神经网络在宏观层面，当然是讲理的。它的所谓不可解释性，是微观的处理过程层面，非线性模型，其“理”超出了人类的认知能力。白：少将以后就很难晋升了。背景序列是军衔。当然“少将”除了泛指，还可能特指。这是个歧义。记得贾彦德讲课把这类序结构归于所谓“语义场”。语义场一般都是人类自己弄出来的，可穷尽。詹：语义场是李老师说的玩家家。可能从哲学层面看，要害正在玩家家。语言是可以“定义”的。定义就是玩家家。定义面向将来。数据只代表过去。我可以基于数据定义，我也可以凭空定义，只要“你懂的”。荀：在工程上，定义语义场，也是标签化的过程，人可以定义精致的标签，也可以通过机器借助大数据。在分布意义下定义，不管哪种方式，能解决现场问题就是好的定义。【相关】《写在NLP小书出版之时》【语义计算：李白对话录系列】【置顶：立委NLP博文一览】《朝华午拾》总目录【立委NLP频道（liweinlp.com）】; 个人分类: 立委科普|3259 次阅读|0 个评论

人工智能中的联结主义和符号主义: kejidaobao 2016-3-22 17:47; 顾险峰纽约州立大学石溪分校计算机系终身教授图 . 由人工神经网络生成的 Inceptionist 图像。最近，谷歌AlphaGo败了围棋九段李世石，举世震惊。有为人工智能的发展欢呼雀跃者，有为人类前途命运忧心忡忡者，有对机器蛮力不屑一顾者，有对人类失去优越感而沮丧彷徨者。这里，探讨人工智能发展的主要方向，目前的局限和未来的潜力，特别是将人类脑神经认知和人工神经网络认知进行对比，从而对人工智能有一个公正客观，而又与时俱进的认识。人类的智能主要包括归纳总结和逻辑演绎，对应着人工智能中的联结主义（如人工神经网络）和符号主义（如吴文俊方法）。人类大量的视觉听觉信号的感知处理都是下意识的，基于大脑皮层神经网络的学习方法；大量的数学推导，定理证明是有强烈主观意识的，是基于公理系统的符号演算方法。 1 联结主义 David Hunter Hubel 和 Torsen Wiesel 共同获得了1981年诺贝尔生理学或医学奖。 1959 年， Hubel 和 Wiesel 在麻醉的猫的视觉中枢上插入微电极，然后在猫的眼前投影各种简单模式，观察猫的视觉神经元的反映。他们发现，猫的视觉中枢中有些神经元对于某种方向的直线敏感，另外一些神经元对于另外一种方向的直线敏感；某些初等的神经元对于简单模式敏感，另外一些高级的神经元对于复杂模式敏感，并且其敏感度和复杂模式的位置与定向无关。这证明了视觉中枢系统具有由简单模式构成复杂模式的功能。这也启发了计算机科学家发明了人工神经网络。层次特征（ Hierarchical Features ）后来，通过对猴子的视觉中枢的解剖，将猴子的大脑皮层曲面平展在手术台表面上，人们发现从视网膜到第一级视觉中枢的大脑皮层曲面的映射（ retinotopic mapping ）是保角映射 (conformal mapping) 。如图 1 所示，保角变换的最大特点是局部保持形状，但是忽略面积大小。这说明视觉处理对于局部形状非常敏感。图 1 三维曲面到平面的保角映射人们逐步发现，人类具有多个视觉中枢，并且这些视觉中枢是阶梯级联，具有层次结构。人类的视觉计算是一个非常复杂的过程。如图 2 所示，在大脑皮层上有多个视觉功能区域（ v1 至 v5 等），低级区域的输出成为高级区域的输入。低级区域识别图像中像素级别的局部的特征，例如边缘折角结构，高级区域将低级特征组合成全局特征，形成复杂的模式，模式的抽象程度逐渐提高，直至语义级别。图 2 大脑皮层的视觉中枢，视觉信号的传导途径：视网膜， LGN ， V1, V2, V3, V4, V5 等如图 3 所示，毕加索的名画格尔尼卡（ Guernica ）中充满了抽象的牛头马面，痛苦嚎哭的人脸，扭曲破碎的肢体。我们可以毫不费力地辨认出这些夸张的几何形体。其实，图中大量信息丢失，但是提供了足够的整体模式。由此可见，视觉高级中枢忽略色彩、纹理、光照等局部细节，侧重整体模式匹配和上下文关系，并可以主动补充大量缺失信息。图 3 毕加索的 Guernica 最近，深度学习技术的发展，使得人们能够模拟视觉中枢的层级结构，考察每一级神经网络形成的概念。图 4 显示了一个用于人脸识别的人工神经网络经过训练后习得的各层特征。底层网络总结出各种边缘结构，中层网络归纳出眼睛，鼻子，嘴巴等局部特征，高层网络将局部特征组合，得到各种人脸特征。这样，人工神经网络佐证了视觉中枢的层次特征结构。图 4 深度学习神经网络学习得到的不同层次的特征（ by Andrew Ng ）专用和通用（ Specific vs. General ）人工神经网络在20世纪 80 年代末和 90 年代初达到巅峰，随后迅速衰落，其中一个重要原因是因为深度神经网络的发展严重受挫。人们发现，如果网络的层数加深，那么最终网络的输出结果对于初始几层的参数影响微乎其微，整个网络的训练过程无法保证收敛。同时，人们发现大脑具有不同的功能区域，每个区域专门负责同一类的任务，例如视觉图像识别，语音信号处理和文字处理等等。并且在不同的个体上，这些功能中枢在大脑皮层上的位置大致相同。在这一阶段，计算机科学家为不同的任务发展出不同的算法。例如，为了语音识别，人们发展了隐马尔科夫链模型；为了人脸识别，发展了 Gaber 滤波器， SIFT 滤波，马尔科夫随机场的图模型。因此，在这个阶段，人们倾向于发展专用算法。脑神经科学的几个突破性进展使人们彻底改变了看法。在 2000 年左右， Jitendra Sharma 在《自然》上撰文，汇报了他们的一个令人耳目一新的实验。 Sharma 把幼年鼬鼠的视觉神经和听觉神经剪断，交换后接合，眼睛接到了听觉中枢，耳朵接到了视觉中枢。鼬鼠长大后，依然发展出了视觉和听觉。这意味着大脑中视觉和听觉的计算方法是通用的。在 2009 年， Vuillerme 和 Cuisinier 为盲人发明了一套装置，将摄像机的输出表示成二维微电极矩阵，放在舌头表面。盲人经过一段时间的学习训练，可以用舌头 “ 看到 ” 障碍物。在 2011 年，人们发现许多盲人独自发展出一套“声纳”技术，他们可以通过回声来探测并规避大的障碍物。 Thaler 等研究表明，他们“声纳”技术采用的并不是听觉中枢，而是原来被废置的视觉中枢。种种研究表明，大脑实际上是一台“万用学习机器”（ universal learning machine ），同样的学习机制可以用于完全不同的的应用（图5）。人类的 DNA 并不提供各种用途的算法，而只提供基本的普适的学习机制，人的思维功能主要是依赖于学习所得。后天的文化和环境决定了一个人的思想和能力。换句话而言，学习的机制人人相同，但是学习的内容决定了人的 mind 。图 5 大脑皮层的不同功能区域可塑性（ Plasticity ）人的大脑具有极强的可塑性，许多功能取决于后天的训练。例如，不同民族语言具有不同的元音和辅音，阿拉伯语最为复杂，日语相对简单。出生不久的婴儿可以辨别听出人类能够发出的所有元音和辅音。但是在五岁左右，日本幼儿已经听不出很多阿拉伯语中的音素了。同样，欧洲人可以非常容易地辨认本民族面孔，但是非常容易混淆亚洲人面孔。人们发现，如果大脑某个半球的一个区域受损，产生功能障碍。依随时间流逝，另一半球的对称区域会“接替”受损区域，掌管相应功能。这些都表明大脑神经网具有强烈的可塑性。长期以来，人们倾向于认为大脑神经元网络依随学习和训练，其联结复杂度逐渐增加，愈来愈多的联结建立起来。近期，一些神经科学家提出了相反的看法。他们观察到，婴儿睡觉时，如果有剪刀掉到地上，婴儿的应激反应是全身的，而相对成熟的儿童的应激反应只集中在局部肌肉上面。他们找到一些证据表明，婴儿的某些神经网络是全联通图，依随年龄的增长和学习训练的积累，许多神经联结会自行断开，从而形成简化的网络。梦的解析（ Dream ）大脑学习算法的普适性和可塑性一直激励着计算机科学家不懈地努力探索。历史性的突破发生在 2006 年左右。三位计算机科学家， Geoffrey Hinton ， Yann LeCun 和 Yoshua Bengio 突破了深度学习的技术瓶颈，引领了深度学习的浪潮。相比于以前的状况，主要的技术突破在于以下几点：优化方法的改进，更加简单的优化方法，特别是随机梯度下降方法的应用；使用非监督数据来训练模型以达到特征自动提取；使用越来越大的数据集；深度神经网络和大数据训练需要巨大的计算能力， GPU 的普遍使用解决了这一迫切要求；等。现在，深度学习方法突飞猛进，在图像识别（ image registration ），文本处理（ t ext ），语音处理（ speech ）等领域的基本问题上，都已经超过了传统方法。在图像识别领域， 2015 年深度学习方法的识别准确率已经达到人类的水平。同时，对于深度学习神经网络的理解加深了人类对于自身智力活动的理解。长期以来，人们对于梦境一直没有很好的理解。一直解释观点如下，如图 7 所示，大脑中有一对海马体（ Hipocampus, ，图 6 ），它们和人类的长期记忆有关。如果把大脑比喻成一个数据库，那么海马体就像是索引。如果海马体有问题，那么许多存入的记忆无法被取出，同时也无法形成新的记忆。每天晚上，海马体将当天形成短暂记忆加工成长期记忆，在这一过程中，就形成了梦。海马体和其他神经中枢相连，处理其它中枢已经处理好的数据，形成新的编码。海马体和视觉和听觉中枢直接相连，因此，在梦中能够看到并且听到；但是，海马体和嗅觉中枢并不相连，因此，在梦中无法闻到气味。我们在梦中经常能够看到平时看不到的奇诡景象，可以用深度学习的方法加以模拟解释。图 6 大脑的海马体（ Hipocampus ）实际上，视觉处理的过程并不只是从低级向高级传递的单向过程，高级中枢可以向低级中枢发出反馈信息，最为明显的例子是高级中枢可以决定低级中枢的“注意力”和“焦点”。当看到模糊不清的图像，或者一时无法辨认的图像时，高级中枢会产生各种概率上合理的解释，并且由这种猜测先入为主地影响低层中枢的判断，从而产生错觉。如图7所示，可以用深度学习的神经网络来模拟这种先入为主的现象。输入是一幅白噪声，本身没有任何有意义的信息。网络由于随机涨落，在某一刹那倾向认为图中有香蕉。由此，优化这幅图像，使得识别香蕉的高层神经元兴奋，如此得到的图像果真看起来像香蕉。图 7 先入为主产生的错觉图8显示了一个例子，这里输入的是一幅羚羊图像。神经网络的低级反馈加到图像上，看到许多边缘和定向的模式出现在场景里。图 8 图像加入低级特征反馈许多孩子喜欢仰望蓝天白云，并且用自己丰富的想象力看到了各种奇妙的幻象。如图 9 所示，将一幅蓝天白云的图像作为输入，用一个识别动物的深度学习神经网络加以处理，将高层神经元的认知模式作为反馈，来优化原始图像，结果可以看到各种山海经中才会出现的神兽：身着铠甲的将军狗，猪蜗牛，骆驼鸟，狗鱼。人在做梦时，高层神经元对于低层神经元发出各种反馈，低层神经元将图像依照高层的意图进行诠释幻化，视觉幻象由此产生。图 9 白云苍狗的机器学习解释美学（ aesthetics ）很久以来，人们倾向于认为机器可以理解人类的逻辑思维，但却无法理解人类的丰富感情，更无法理解人类的美学价值，当然机器也就无法产生具有美学价值的作品。事实胜于雄辩，AlphaGo对局李世石下出石破天惊的一步，棋圣聂卫平先生向AlphaGo的下法脱帽致敬，这说明深度学习算法已经能够自发创造美学价值。许多棋手在棋盘方寸间纵横一生，所追寻的就是美轮美奂的神机妙手。如此深邃优美，玄奥抽象，一夜间变成了枯燥平淡的神经元参数，这令许多人心生幻灭。其实，在视觉艺术领域，人工神经网络已经可以将一幅作品的内容和风格分开，同时向艺术大师学习艺术风格，并把艺术风格转移到另外的作品中，用不同艺术家的风格来渲染同样的内容，如图 10 所示。图 10 神经网络能够自动学习艺术风格，并用不同的风格渲染同样的内容这意味着人工神经网络可以精确量化原本许多人文科学中模糊含混的概念，例如特定领域中的”“艺术风格”，博弈中的“棋风”，并且使这些只可意会，无法言传的技巧风格变得朴实无华，容易复制和推广。符号主义古希腊人将欧几里得几何归纳整理成欧几里得公理体系，整个宏伟的理论大厦奠基于几条不言自明的公理，整个大厦完全由逻辑构造出来，美轮美奂，无懈可击。这为整个人类科学发展提供了一套标准的范式。后来，牛顿编撰他的鸿篇巨著《自然哲学的数学原理》也遵循公理体系的范式，由公理到定义，引理，到定理再到推论。人类的现代数学和物理知识最终都被系统化整理成公理体系，比如爱因斯坦的广义相对论也是遵循公理体系的范式。当然也存在例外，虽然量子理论已经为人类科技带来天翻地覆的革命，但是量子理论的公理体系目前还没有建立起来。符号主义的主要思想就是应用逻辑推理法则，从公理出发推演整个理论体系。人工智能中，符号主义的一个代表就是机器定理证明，其巅峰之作是吴文俊先生创立的吴文俊方法。目前机器定理证明的理论根基是希尔伯特定理：多元多项式环中的理想都是有限生成的。我们首先将一个几何命题的条件转换成代数多项式，同时把结论也转换成多项式，然后证明条件多项式生成的理想包含结论对应的多项式，即将定理证明转换为理想成员判定问题。一般而言，多项式理想的基底并不唯一， Grobner 基方法和吴方法可以生成满足特定条件的理想基底，因此都可以自动判定理想成员问题。因此理论上代数范畴的机器定理证明可以被完成。但是，实际中这种方法有重重困难。首先，从哲学层面上讲，希尔伯特希望用公理化方法彻底严密化数学基础。哥德尔证明了对于任何一个包含算术系统的公理体系，都存在一个命题，其真伪无法在此公理体系中判定。换言之，这一命题的成立与否都与此公理体系相容。这意味着我们无法建立包罗万象的公理体系，无论如何，总存在真理游离在有限公理体系之外；另一方面，这也意味着对于真理的探索过程永无止境。其次，从计算角度而言， Grobner 基方法和吴方法的复杂度都是超指数级别的，即便对于简单的几何命题，其机器证明过程都可能引发存储空间的指数爆炸，这揭示了机器证明的本质难度。第三，能够用理想生成的框架证明的数学命题，其本身应该是已经被代数化了。例如所有的欧几里得几何命题，初等的解析几何命题。微分几何中的许多问题的代数化，本身就是非常具有挑战性。例如黎曼流形的陈省身 - 高斯 - 博内定理：流形的总曲率是拓扑不变量。如果没有嘉当发明的外微分和活动标架法，这一定理的证明无法被代数化。拓扑学中的许多命题的代数化本身也是非常困难的，比如众所周知的布劳威尔不动点定理：我们用咖啡勺缓慢均匀搅拌咖啡，然后抽离咖啡勺，待咖啡静止后，必有一个分子，其搅拌前和搅拌后的位置重合。这一命题的严格代数化是一个非常困难的问题。吴先生的高徒，高小山研究员突破的微分结式理论，系统地将这种机器证明方法从代数范畴推广到微分范畴。最后，机器定理证明过程中推导出的大量符号公式，人类无法理解其内在的几何含义，无法建立几何直觉。而几何直觉和审美，实际上是指导数学家在几何天地中开疆拓土的最主要的原则。机器无法抽象出几何直觉，也无法建立审美观念，因此虽然机器定理证明经常对于已知的定理给出令人匪夷所思的新颖证明方法，但是迄今为止，机器并没有自行发现深刻的未知数学定理。比如，人类借助计算机完成了地图四色定理的证明，但是对于这一证明的意义一直富有争议。首先，是人类将所有可能情形进行分类，由机器验证各类情形；其次，这种暴力证明方法没有提出新的概念，新的方法；再次，这个证明没有将这个问题和其它数学分支发生深刻内在的联系。数学中，命题猜测的证明本身并不重要，真正重要的是证明所引发的概念思想，内在联系和理论体系。因此，许多人认为地图四色定理的证明实际上“ 验证” 了一个事实，而非“ 证明” 了一个定理。因此，和人类智慧相比，人工智能的符号主义方法依然处于相对幼稚的阶段。展望虽然人工智能取得了突破性进展，但是他还是在婴幼儿时期。联结主义的方法虽然摧枯拉朽，无坚不摧，但是依然没有坚实的理论基础。通过仿生学和经验积累得到的突破，依然无法透彻理解和预测。简单的神经网络学习机制加上机器蛮力，能否真正从量变到质变，这需要时间检验。围棋是信息完全博弈游戏的巅峰，但不是人类智力的巅峰。理性思维的巅峰还是数学物理理论的创立。许多抽象的数学定理，本身的描述已经概念嵌套概念，并且在现实物理世界中找不到示例，因此机器学习方法不再适用。比如下面的命题：高斯曲率处处为负的封闭曲面无法嵌入在三维欧式空间中。这一命题的证明无法用目前符号计算的方法，也无法用机器学习的方法。如果有朝一日，数学家开始对人工智能脱帽致敬，那么人类应该开始警醒了。人类的孩子需要花费十数年来学习，并且学习中师生和同学中的社会交往起到了至关重要的作用。目前人工智能的程序还是各自训练，彼此之间没有交互。如果人工智能程序间能够建立社会交往，彼此交换学习内容和心得，那么人工智能将会产生新的飞跃。比如一群谷歌的 Atlas 机器人，装备了 AlphaGo 的大脑，彼此自发地进行篮球游戏。通过拷贝神经网络的参数，它们可以彼此迅速交换学习成果。通过对抗演练，它们能够迅速提高手眼协调，团队协作，则很快有望进入 NBA 。谷歌旗下的机器人我们可以相信，不久的将来，人类和人工智能机器人和睦共处，共同学习提高。在纽约曼哈顿中央公园，有机器人在辛勤地劳作，也有人类遛着阿尔法狗。街角，有个 Atlas 在和人类攀谈，切磋着各种幽默笑话。不远处的长椅上另一个 Atlas 默默地坐着，它头戴虚拟现实的眼镜，在孜孜不倦地学习着人类历史 ... 参考文献（ References ） http://googleresearch.blogspot.com/2015/06/inceptionism-going-deeper-into-neural.html https://github.com/jcjohnson/neural-style [7 X.S.Gao, W.Li, C.M. Yuan, Intersection Theory in Differential Algebric Geometry: Generic Intersections and the Differential Chow Form, Trans. Amer. Math. Soc., 365(9), 4575-4632, 2013. （责任编辑刘志远）; 个人分类: 栏目：本刊专稿|4270 次阅读|0 个评论

更多...

帐号		自动登录	找回密码
密码			注册

关闭 安全验证

标签: 符号主义

相关帖子

相关日志

关闭安全验证