【立委按】 【 NLP主流的傲慢与偏见 】系列刚写了三篇。 中国NLP(Natural Language Processing)前辈董振东老师来函推荐两篇来自主流的反思文章。 董老师说，主流中有识之士对深陷成见之中的NLP一边倒的状况， 有相当忧虑和反思。 Church (2011) 对NLP的回顾和反思的文章【 钟摆摆得太远】 （A Pendulum Swung Too Far）是一篇杰作，值得反复研读。 文章在语言研究中经验主义和理性主义此消彼长循环往复的大背景下 ，考察NLP最近20年的历程以及今后20年的趋势。 它的主旨是，我们这一代NLP学者赶上了经验主义的黄金时代（ 1990迄今），把唾手可得的果子统统用统计摘下来了， 留给下一代NLP学人的，都是高高在上的果实。 20多年统计一边倒的趋势使得我们的NLP教育失之偏颇， 应该怎样矫正才能为下一代NLP学人做好创新的准备， 结合理性主义，把NLP推向深入？忧思溢于言表。原文很长， 现摘要译介如下。 【Church - 钟摆摆得太远（3）】 立委编译自： K.Church 2011. A Pendulum Swung Too Far. Linguistics issues in Language Technology, Volume 6, Issue 5. Abstract： Pierce revisited by Church 2007: as a legendary technology master as well as authority for the US science and technology policy decision making, Pierce has two sides to show to the world. In this area, he is best known for directly leading to the funding winters of Machine Translation and Artificial Intelligence. We all have mixed feelings towards such an important figure in history. While his sharp criticisms are mostly well argued and are difficult to respond (at least at the time), he has caused enormous pains in this field too. By reviewing his positions, what can we learn from him? 皮尔斯的反对意见 比起明斯基和乔姆斯基，皮尔斯在时下的教科书上更少提到，尽管皮尔斯作为ALPAC 委员会主席以及著名的“语音识别向何处去”一文的作者对本领域有深远影响。无论从终结资助还是从文章的引用率看，皮尔斯对该领域的冲击力是如此之大，真不明白现代教科书为何如此冷待皮尔斯。原因也许在于，比起明斯基和乔姆斯基，皮尔斯的批评“麻烦”更大。很多学者试图回应他的批评，但几乎没有任何回应能像他原来的批评那样有力和值得一读。 皮尔斯一生硕果累累，他开发了脉冲编码调制(pulse code modulation, PCM)，一种与当今WAVE 文档格式紧密相关的语音编码方法，而WAVE 是一种在个人计算机上储存音频文件的流行格式。此外，皮尔斯在真空管领域的研究亦成就卓著，但他又带领团队发明了晶体管，使真空管很快消亡。皮尔斯的研究工作也涵盖卫星领域，后来他作为贝尔实验室的研究副总裁，在把卫星研究转化成商业应用上发挥了关键作用，成功开发了Telstar 1，这是卫星首次在电信领域的商业应用。 总之，皮尔斯是一位具有非凡成就的顶级技术执行官。与他争辩的另一方根本无法与他相提并论，其中包括一些可能会被拒授终身教职的初级教职人员。这是一场不公平的论战。但即便如此，也没有理由忽视他对领域的贡献，哪怕这些贡献给我们带来诸多“麻烦”。 ALPAC 报告与“语音识别向何处去”都非常值得一读。网上很容易找到 ALPAC 报告的原文，但其篇幅较长。如果读者时间有限，建议先从阅读“语音识别向何处去”开始，因为这篇通讯言简意赅，观点明晰。短短两页的通讯基本上论及两条批评意见： 系统评测：皮尔斯反对用演示来评测系统，也反对现今仍流行的各种系统评测方法。“即使给出了统计数据，语音识别的成功与否还是很难测量。总体而言……当……时对于……系统可以达到 95% 的准确率。在……情况下，性能会急遽下降。很难鉴定这种性能的语音识别系统能否成为实用的、经济合理的应用产品。” 模式匹配：皮尔斯反对现今仍流行的模式匹配技术（如机器学习和语音识别），斥之为巧妙的欺骗：“与科学相比由于更容易取巧而更快成功”。 模式识别批判 皮尔斯以魏岑鲍姆(Weizenbaum)开发的伊莉莎(ELIZA) 程序作为案例来解释“巧妙的欺骗”。虽然伊莉莎很明显并不“智能”，但它或许可以通过图灵测试。伊莉莎批判从此成为对那些看上去比实际能力要强的程序的标准批判。维基百科对“伊莉莎效应”的定义如下： “在计算机科学中，所谓的伊莉莎效应，指的是下意识地假设计算机与人类的行为相似的一种趋势。从特定形式上看，伊莉莎效应只是指‘人们阅读被计算机串起的符号序列（特别是单词），往往读出了这些符号并不具备的意义’。更一般地，伊莉莎效应描述的是这样一种情形，仅仅依据系统输出，用户就把计算机系统理解为具有‘其软件控制（输出）不可能实现的内在素质和能力’，或者，‘假设（输出）反映了比实际更大的因果关系’。无论是在特定还是一般形式上，甚至当系统的用户已经知道系统产生的输出是预定不变的，伊莉莎效应都会显著出现。从心理学观点来看，伊莉莎效应源于一种微妙的认知失调，一方面，用户意识到程序编制的局限性，另一方面，他们对程序的输出结果依然盲信。伊莉莎效应的发现是人工智能的一个重要进展，说明利用社交工程原理，而不是显式编程，也可以通过图灵测试。” 魏岑鲍姆在意识到他的伊莉莎程序让公众如此信服后，他自己反而成为人工智能的强烈反对者。以下是从他的著作《难以理解的程序》(Incomprehensible Programs ) 中的一个章节摘录的： “这两个程序(MACSYMA和DENDRAL) 与其他大多数人工智能程序完全不同，它们牢牢建立在深厚的理论之上……计算机当然还有其他许多重要的、成功的应用。例如，计算机可以操控整个石油精炼厂的流程，可以导航飞船以及监测并在很大程度上操控飞船内的环境，以便宇航员执行任务。这些程序依赖于数学控制理论和牢固确立的物理理论。这种以理论为基础的程序具有极其重要的优势，一旦程序走偏，监测人员就能发现它们的性能不符合理论的要求，从而可以用理论帮助诊断失败的原因。 但是， 大多数现有的程序……不是以理论为基础的……它们多是探索式的……采用的是在多数预见情况下显得‘可行’的策略……我自己的程序伊莉莎正是这种类型。伍诺格拉德(Winograd)的语言理解系统也是……纽厄尔(Newell) 和西蒙的GPS20 也是如此。” 魏岑鲍姆继续争辩道，程序理应易于理解，并建立在坚实的理论基础之上，这种观点皮尔斯想必也会同意。 皮尔斯关于“巧妙的欺骗”的提法批评了包括人工智能、语音识别以及模式识别（也包括大部分现代机器学习）的很多领域用演示来验证系统的做法。 “前述讨论适用于模式识别的各个领域，其应用作为练习留给读者”。 模式识别有其优缺点。优点是，模式识别可以巧妙应对许多科学难题，在实际应用中取得进步。但是这一优势同时也是其缺点。短期的取巧分散了领域的精力，无法顾及真正有意义的长远目标。 很多工程任务与语音合成一样有两类研究：一类是实用的工程方法（例如衔接合成和磁带拼接），另一类是雄心勃勃的科学计划（如模拟人类发音的合成）。一般而言，实用的方法更有可能在短期内产生较好的结果，但学术界也激励更有前途的科学路线。对于尚未解决的重大科学问题，如果我们直接研究它们，而不是投机取巧，我们会有更好的机会取得进展。话虽这么说，如果你在工业界领导一个语音合成产品，为了在预算内按时按质交付产品，采用任何工程手段和技巧都是题中应有之义。 回应 针对“语音识别向何处去”曾有很多回应，但是多数回应都没能有效应对上面提到的两条主要批评意见： 目前在论文发表时所要求的系统评测方法究竟有何意义？ 与科学相比，模式匹配的意义何在？ 罗(Roe)和威尔彭(Wilpon)争辩说，在“语音识别向何处去”提出后的25 年中，领域的发展已经把所谓“无用”的努力演变为商用现实。他们的文章开头介绍了隐式马尔可夫模型等流行方法，这些方法基于皮尔斯所反对的模式匹配技术。接着提到目前常用的评测方法。评测旨在展示模式匹配技术的有效性，然而评测带来的结论正如皮尔斯归纳描述的那样：“难以度量”。 “在实验室条件下，语言识别器对于声音的模式匹配相当准确。然而，在‘真实世界’的条件下，错误率会高出很多”。 ALPAC报告 相当长的ALPAC 报告提出了很多反对意见，其中许多批评意见令人尴尬，也很难回应。报告的结论部分提到一些好消息： “如今仍有理论语言学家对实证研究或计算都不感兴趣，也有应用语言学家对十年来的理论进展无动于衷，对计算机也很木讷。但是，与以往任何时候相比，都有更多的语言学家尝试把微妙的语言理论与更丰富的数据相结合，他们中几乎所有人，无论在哪个国家，都渴望计算机的支持。前一代人需要一辈子做的工作（譬如建立对照语库、词汇表、浅层文法），如今借助计算机几个星期即可完成（下一年大概只需要几天）。在对于作为人类交流工具的自然语言的理解方面，人类迈出了万里长征的第一步。” 但好消息随后紧接着就是不那么好的消息 ： “ 但是，我们还没有简单易用并广为人知的计算机处理语言数据的好方法。” 作为回应，斯蒂德曼(Steedman)将我们的研究领域与物理学领域做了对比。他指出物理界并没有被类似于ALPAC 的报告所困扰：“没人去告诉周围的物理学家该做什么。”斯蒂德曼建议，如果我们更自律，并避免在公共场合过度渲染，我们的领域也许会处于更好的状态。 我们其实没必要羡慕物理学领域的状态，以此排斥ALPAC报告。斯蒂德曼的回应不仅没有解决问题，而且事实上，物理学在学术界根本就不处于一个令人羡慕的位置。曾经有一段时间，物理学确实处于相对良好的状态，但那是很久以前的事情了。物理学的冬天已经持续太久，以至于许多人离开了物理学领域。曾经的物理学家们对许多领域做出了贡献，包括我们领域的几个方向，例如机器翻译和机器学习等。至于过度渲染，物理学不比我们少。 甚至连ALPAC 报告也指出，计算语言学比物理学有许多优势： “我们看到计算机为语言学家带来了一系列的挑战、视角和机会。我们相信，这些可与粒子物理面临的挑战、问题和视界相当。毫无疑问，语言的重要性不亚于任何其他现象。而且计算语言学所需要的工具成本，比起需要数十亿伏加速器的粒子物理学少得多了。” 哈钦斯(Hutchins)在ALPAC报告30 周年纪念时在《机器翻译国际新闻》(MT News International) 中题目为《ALPAC ：著名（抑或臭名昭著）的报告》的文章中，总结道： “ALPAC 对机器翻译持怀疑态度是有一定道理的：当时机器翻译的质量无疑非常糟糕，似乎确实没有正当理由获得那么多的资助。报告中也正确地指出需要研制计算机辅助翻译，并强调计算语言学需要更多的基础研究。然而，需要指责的是……” 哈钦斯继而批评ALPAC 报告的观点太过以美国为中心，机器翻译问题本应在更广阔的全球语境中来考虑。既然基调如此严肃，他对以美国为中心的批评就显得相对单薄。如果从美国角度看机器翻译技术质量不好，费用昂贵，难道换一个角度就会对他国合适？ 事实上，ALPAC 报告之所以被认为臭名昭著，是因为它的怀疑论直接导致了机器翻译的资金寒冬，尤其是在美国方面。然而，报告（第34 页）实际上建议在两个不同方向上增加经费开支： 对于语言学和计算语言学的长期的基础学术研究，以及 对于实用的、可以短期奏效的提高翻译质量的工作。 第一类基础研究应该以其科学价值为基础，经过同行评议，而评估第二类应用程序应该着重于实用的指标：速度、成本和质量。 皮尔斯的这两个建议凸显出他的两个不同侧面，正由于这种两面性使得皮尔斯能够同时认同乔姆斯基和香农那样两种不同的立场。一方面，皮尔斯是基础科学的坚定支持者。皮尔斯反对任何将科学扭曲成其他东西（例如应用程序）的企图，以及试图以误导性演示和盲目的指标（如今天所例行的各种评估办法）歪曲科学的发展。另一方面，皮尔斯也有实用的一面，他在语音编码、真空管、晶体管和通信卫星等领域所取得的非凡成就就是证明。他是应用型工作强有力的支持者，但所用的规则与基础研究完全不同，比如强调从商业案例出发。应用型工作要按应用型工作来评估（基于商业标准），而科学必须按科学的标准来评估（基于同行评审）。 如果皮尔斯今天还活着，他会被学术界的现状深深困扰。太多的资金投入到了模式匹配技术和数值评估上，干扰了他认定的作为核心科学问题的学术发展。 从更积极的方面看，皮尔斯的应用一面应该会对谷歌的商业成功留下深刻印象，尤其是在搜索方面。尽管如此，谷歌的边缘业务如语音识别和机器翻译是否可以称作成功，从他的角度应该还有疑问。虽然我们有理由对这些领域抱有希望，像皮尔斯这样的怀疑论者会觉得，比起过去的几十年研发的巨额投资，机器翻译和语音识别的应用成就并不相称。作为一个合理的投资回报，现在的语音识别和机器翻译应该产生一个杀手锏级的应用，使得几乎每个人每天都离不开它，就像当年AT ＆ T 发明的电话，或者像微软Windows 系统或谷歌搜索一样。谷歌在搜索方面的核心业务已经实现了这个理想，也许有一天他们的语音和翻译等边缘业务也能最终达到这一目标。 皮尔斯能给今天的我们提供什么？迄今为止，该领域已经做得很好，采摘了不少低枝果实。在有很多果实容易采摘的好时光里，我们自然应该充分利用这些机会。但是，如果这些机会逐渐枯竭，我们最好还是遵循皮尔斯的教诲，认真面对核心科学的挑战，而不是继续寻找不复存在的容易采摘的果实。 【NLP主流的反思：Church - 钟摆摆得太远（1）】 【Church - 钟摆摆得太远（2）：乔姆斯基论】 【Church - 钟摆摆得太远（4）：明斯基论】 【Church - 钟摆摆得太远（5）：现状与结论】 【置顶：立委科学网博客NLP博文一览（定期更新版）】
标签: 皮尔斯
