This topic is a typical example of teaching, management, learning, using social system engineering methods and the principles of philosophical knowledge, in the research, teaching, research and teaching of the cross-integrated subject of the knowledge center. The characteristics are: With the help as the technology of information processing, artificial intelligence and big data, through the construction of practical application system platforms such as computer aided and human-computer interaction, the basic theoretical research and applied research and comprehensive research of intelligent computing and several related disciplines involved in it are in the class. The interpersonal social practice activities of the lectures are integrated, and the combination of the seven stapes passes and the eight-persons groups is a bright spot. The mental activities such as personal perception, cognition, thinking and memory are in the teaching, management, learning, and multi-class practice activities. Activated, the standardized process of knowledge module finishing and the personalized mental and mental activity process in the process of understanding, can be using, familiar, clever or smart, and recycling or reused, further embodies how the comprehensive ability of superior skills can be improved. This is a typical fusion of wisdom. -Zou Xiaohui 2019-06-04 in Oxford, UK (Joint Laboratory of Sino-UK Research Center and Sino-US Searle Research Center) 本课题是教、管、学、用社会化系统工程方法及其融智学原理，在知识中心这门交叉综合学科的科研、教研和教学三方面，质量显著提升的一个典型，其特征就在于：借助信息处理、人工智能和大数据最新技术，通过计算机辅助和人机交互等实际应用系统平台的建构，把智能计算以及它涉及的几个相关学科的基础理论研究与应用研究以及综合研究在班级授课的人际社会实践活动中融会贯通，其中七遍通与八人组的结合是个亮点，个人的感知、认知、思维和记忆等心智活动，在教、管、学、用多类实践活动中都被激活，知识模块精加工的标准化流程与个性化的心理心智活动过程在懂、会、熟、巧、用循环过程中，进一步体现了技艺超群的综合能力如何得到提升。这是一种典型的智慧融通融合。-邹晓辉2019-06-04于英国牛津（中英塞尔研究中心与中美塞尔研究中心联合实验室）
文本分析又称为观点挖掘，旨在通过对文本特征的选取并量化来实现文本信息表达。传统文本分析是通过对人们的观点、情绪、评论和态度进行有效挖掘的一项技术。主要内容包括文本信息分类、抽取和应用 。文本分析将文本从一个无结构的原始文本转化为结构化的计算机可以识别的矢量信息。通过对文本进行科学的抽象，建立它的数学模型，用以描述和代替文本，使计算机能够通过对这种模型的计算和操作来实现对文本的识别。由于文本是非结构化数据，要想从大量的文本中挖掘有用的信息就必须首先将文本转化为可处理的结构化形式。目前人们通常采用向量空间模型来结构化文本向量，即直接用分词算法和词频统计方法得到的特征项来表示文本向量中的各个维（向量的维度数目将高达几万维，造成“维度灾难”）。这种未经处理的文本矢量不仅给后续工作带来巨大的计算开销，使整个处理过程的效率非常低下，而且会损害分类、聚类算法的精确性，从而使所得到的结果很难令人满意。因此，除了对文本做预处理外，我们还通过卡方检测、词频逆文档和信息增益等方法来降维。之后再利用支持向量机、贝叶斯、最大熵和随机森林等机器学习方法构建合适的分类回归模型。 以上文本分析所用的机器学习策略，被称为浅层学习。针对浅层学习的研究最早由 Pang 等人 在由两个类别组成的电影评论领域进行了实验，结果表明借助于 naiveBayesian 和 SVM 都能取得较好的分类效果。 Bo Pang 等人 对文本分析的发展历史做出归纳，指出对认知系统的研究 可以作为文本分析的先驱。之后文本分析的研究主要集中在文本中隐喻、叙述的解释，文本的观念、情感和与之相关的领域实践。浅层学习在实际建模的过程中使用到的函数简单，计算方法容易实现，计算量小，在有限的样本和计算单元的条件下导致其对复杂函数的表达能力受到限制，同时对于复杂的分类问题的泛化能力也在一定程度上受到制约。 相对浅层机器学习， Hinton 等 提出了深度学习（ Deep Learning ）。深度学习概念是来自于对人工神经网络的研究（多层感知器（ MLP ， MultilayerPerceptron ）就是一种前馈人工神经网络模型，属于一种深度学习结构 ) 。分布式的特征表示方式是深度学习相较于浅层学习的一个重大进步。深度学习通过将底层特征进行组合，形成更加抽象的高层特征形式，并在此基础上获得样本数据的分布式表示 。这些分布式特征通过深度学习神经网络结构中的多个隐层结构逐层计算获得。然而，深度学习的网络结构因其涉及到多个非线性的处理单元层而导致它的非凸目标的代价函数计算过程中普遍存在着局部最小的问题，优化的过程中极有可能在找到全局最小值之前因局部最小值的出现而终止了优化的计算，这也正是深度学习在训练上比较困难的主要原因。尽管深度学习有着这样的困难，但深度学习具有多层结构，且这些结构之间均是非线性映射的，这使得深度学习可以很好的完成复杂函数的逼近，这也是深度学习能够成功应用的优势之一，让很多研究者趋之若鹜，让深度学习成为当前机器学习研究的热点课题。 国内外关于文本分析研究现状如下： 目前，文本分析研究的方法可以分为采取基于规则的方法和基于统计学习的方法。就前者而言，大部分的工作集中于分析规则的制定，这部分工作需要消耗大量的人力和时间，而且当目标样本中的语言现象较多或者较为复杂的时候，规则的制定就是一项非常艰难的任务。而且这种方法与研究目标紧密关联，导致制定的规则的迁移性非常差。这种方法往往利用情感词典、领域词典以及文本中的组合评价单元来获取最终的文本情感极性、评价词抽取和评价词语判别 。目前，多数研究文本分析的学者采用基于统计学习的方法学习目标样本的特征，并根据特征的分布对文本做出类别的判断。文本分析根据研究的任务可划分为文本信息分类和文本信息抽取两类。文本信息分类又可以依据划分的类别分为二元分类，即褒贬分类，和多元分类，如褒义，贬义和中性三类。根据研究的粒度可划分为篇章级分析、段落级分析、句子级分析以及属性级分析四类（已有文献中大多数的研究成果都是篇章级或者是句子级的文本分析研究）。基于统计学习的方法，大致可以归纳为三类：有监督方法，无监督方法以及半监督方法。其中有监督学习方法以 pang 在 2002 年的文献 为代表，学习方法有朴素贝叶斯、支持向量机和最大熵。 文本分析除了情感分析外，还有情感文摘、实体抽取、新闻文摘和文本分类等其他运用。实质上，这些运用都是使用不同的文本特征提取方法，使用机器学习或者规则作为工具的分类任务。以观点持有者实体抽取为例：有学者 将句子分词序列化后借助于命名实体识别规则来获取观点持有者，也有学者 曾尝试借助语义角色规则标注来完成观点持有者的抽取。 还有学者将观点持有者的抽取定义为分类任务，这种方法的关键在于分类器和特征的选取。如 Choi 将其看作 一个序列标注问题 , 并使用 CRF (conditional random field) 模型融合各种特征来完成观点持有者的抽取。相似地， Kim 将所有名词短语都视为候选观点持有者，使用 ME(maximumentropy) 模型来进行计算。这些方法较为依赖自然语言处理的基础技术，语言覆盖低和领域适应性差。 随着技术的发展和科技的进步，人们对分类与回归任务的要求也随之增高。就在此时，深度学习兴起。深度学习的提出者 Hinton 曾经非正式的指出的：“机器学习的第一次浪潮是浅层学习，深度学习则是机器学习的第二次发展浪潮”。目前， Hinton 的观点越来越被人们所接受。人们将焦点转移到深度学习的研究上，掀起了深度学习的研究热潮。 早期的深度学习应用于文本分析围绕语言模型（语言模型即判别一句话是否符合人类语法要求和使用习惯的模型）进行。用神经网络训练语言模型的思想最早由百度 IDL 的徐伟 于 2000 提出，提出一种用神经网络构建二元语言模型的方法。 Bengio 等 在 2003 提出三层的神经网络来构建语言模型 , 同样也是 n-gram 模型 , 根据这已知的 （ n−1 ）个词，预测下一个词 。整个模型中使用的是一套唯一的词向量，并使用随机梯度下降法把这个优化模型，得到的语言模型自带平滑，无需传统 n-gram 模型中那些复杂的平滑算法。 2006 年， GeoffreyHinton 在《 Science 》发表了文献，指出两个重要观点：其一，多隐层的人工神经网络具备着优异的学习特征的能力，它学习到的特征对样本数据有着更加本质的刻画，使其更加有利于图像可视化或者文本等的分类任务；其二，深度神经网络在训练的时候存在一定的难度，可通过“逐层初始化”（ layer-wise pre-training ）的方法有效克服。 Hinton 在文章采用无监督学习实现逐层初始化工作 。 Hinton 在文献 中提到的深度学习方法是机器学习研究的一个新的领域，它的动机是建立、模拟人脑的分析学习的神经网络，模仿人脑的机制进行数据的解释，比如声音，图像和文本。深度学习方法的自编码网络是无监督的一种，在文章中提出了使用快速学习的办法，主要分为两步：第一步，每次训练其中一层网络，第二步是调优，保证原始的表示 x 向上产生的高级表示 r 和向下产生的表示 x ’尽可能的保持一致。这一思想在本文提出的基于深度学习的方法处理文本分析问题时依然被采纳。 除此之外， Lecun 等人在文献 中采用的是卷积神经网络（ CNNs ， Convolutional Neural Networks ），这是第一个真正具有多层结构的学习算法，它使用空间的相对关系来减少参数数目进而提高 BP （ BackPropagation ）训练性能。深度学习研究中还有许多的变形结构，比如文献 中采用的去噪自动编码器（ DenoisingAutoencoders ），文献 中使用的 DCN 方法，文献 中提出的 sum-product 方法等。 目前，深度学习的方法在词编码（ Word Embedding ）上取得了卓越的成效。词编码不同于传统词向量。传统词向量使用的每个维度表示特定的词，出现为 1 ，否则为 0 ，词编码的每个维度表示某种语义信息，从大量未标注的普通文本数据中无监督地学习出词向量。目前词向量研究最经典的文献为 CW 2011 、 MH 2008 和 Mikolov 2012 。 CW 的工作而在于用这份词向量去完成 NLP 里面的各种任务，比如词性标注、命名实体识别、短语识别和语义角色标注等。直接去尝试近似 t 个词的概率 P(w1,w2,…,wt) ，求窗口连续 n 个词的打分 f ， f 越高的说明这句话越正常；打分低的说明这句话不是太合理；如果是随机把几个词堆积在一起将会是负分。打分只有相对高低之分，并没有概率的特性。有了这个对 f 的假设， CW 就直接使用 pair-wise 的方法训练词向量。他们在实验中取窗口大小 n=11 ，字典大小 |V|=130000 ，在维基百科英文语料和路透社语料中一共训练了 7 周，终于得到了所需要的词向量。 MH 的工作提出了一种层级的思想替换了 Bengio 的方法中最后隐藏层到输出层最花时间的矩阵乘法，在保证效果的基础上，同时也提升了速度， Mikolov 在 Bengio 的研究基础上，使用循环神经网络（ Recurrent neural network ）降低参数个数，并在准确率和算法效率上进行各种尝试。循环神经网络与前面各方法中用到的前馈网络在结构上有比较大的差别，但是原理还是基于多层神经网络模型。 目前深度学习用到文本分析的方法中可以归纳为两种： 1. 训练词向量直接用于神经网络模型的输入层。如 CW 的 SENNA 系统中，将训练好的词向量作为输入，用前馈网络和卷积网络完成了词性标注、语义角色标注等一系列任务。再如 Socher 将词向量作为输入，用递归神经网络完成了句法分析、情感分析等多项任务。 2. 作为辅助特征扩充现有模型。如 Turian 将词向量作为额外的特征加入到接近 state of the art 的方法中，进一步提高了命名实体识别和短语识别的效果。 国内使用词编码或者深度学习的研究学者并不多，但是正处于上升阶段，其中以贺宇和梁军等人为代表。贺宇等人 使用自编码算法，研究中文评论具有是否具有解释性的二分类问题 。梁军 使用递归神经网络对微博情感进行划分。两人工作都具有一定的创新性。 参考文献： 赵妍妍 , 秦兵 , 刘挺 . 文本情感分析 . 软件学报 ,2010,08:1834-1848. Pang B, Lee L,Vaithyanathan S. Thumbs up?: sentiment classification using machine learningtechniques //Proceedings of the ACL-02 conference on Empirical methods innatural language processing-Volume 10. Association for ComputationalLinguistics, 2002: 79-86. Pang B, Lee L.Opinion mining and sentiment analysis . Foundations and trends in informationretrieval, 2008, 2(1-2): 1-135. Carbonell J G.Subjective Understanding: Computer Models of Belief Systems . YALE UNIV NEWHAVEN CONN DEPT OF COMPUTER SCIENCE, 1979. Wilks Y, Bien J.Beliefs, Points of View, and Multiple Environments* . Cognitive Science,1983, 7(2): 95-119. Carbonell J G.Subjective Understanding: Computer Models of Belief Systems . YALE UNIV NEWHAVEN CONN DEPT OF COMPUTER SCIENCE, 1979. Esuli A, SebastianiF. Sentiwordnet: A publicly available lexical resource for opinionmining //Proceedings of LREC. 2006, 6: 417-422. Turney P. Mining theweb for synonyms: PMI-IR versus LSA on TOEFL . 2001. Riloff E, Wiebe J,Phillips W. Exploiting subjectivity classification to improve informationextraction //Proceedings of the National Conference On ArtificialIntelligence. Menlo Park, CA; Cambridge, MA; London; AAAI Press; MIT Press;1999, 2005, 20(3): 1106. Bakliwal A, Arora P,Madhappan S, et al. Mining sentiments from tweets . Proceedings of the WASSA,2012, 12. Kamps J, Marx M J,Mokken R J, et al. Using wordnet to measure semantic orientations of adjectives .2004. Dave K, Lawrence S,Pennock D M. Mining the peanut gallery: Opinion extraction and semanticclassification of product reviews //Proceedings of the 12th internationalconference on World Wide Web. ACM, 2003: 519-528. Golder S A, Macy M W.Diurnal and seasonal mood vary with work, sleep, and daylength across diversecultures . Science, 2011, 333(6051): 1878-1881. Kim SM, Hovy E.Determining the sentiment of opinions. In: Nirenburg S, ed. Proc. of the Coling2004. Morristown: ACL, 2004. 1367−1373. Kim SM, Hovy E.Extracting opinions, opinion holders, and topics expressed in online news mediatext. In: Dale R, Paris C, eds. Proc. of the ACL Workshop on Sentiment andSubjectivity in Text. 2006. 1−8. Choi Y, Cardie C,Riloff E. Identifying sources of opinions with conditional random fields andextraction patterns. In: Mooney RJ, ed. Proc. of the HLT/EMNLP 2005.Morristown: ACL, 2005. 355−362. Kim SM, Hovy E.Identifying and analyzing judgment opinions. In: Bilmes J, et al., eds. Proc.of the Joint Human Language Technology/North American Chapter of the ACL Conf.(HLT-NAACL). Morristown: ACL, 2006. 200−207. Xu W, Rudnicky A I.Can artificial neural networks learn language models? . 2000.] Bengio Y, DucharmeR, Vincent P, et al. A neural probabilistic language model . The Journal ofMachine Learning Research, 2003, 3: 1137-1155. Hinton G. E.,Salakhutdinov R. R. Reducing the Dimensionality of Data withNeural Networks . Science, Vol. 313. No. 5786, 2006, 28(7): 504-507 . Hinton G. E.,Osindero S. A fast learning algorithm for deep belief nets .NeuralComputation, 18, 2006: 1527-1554 Joachims T.Transductive inference for text classification using support vectormachines . Proceedings of the 16th International Conference on MachineLearning. SanFrancisco, CA, USA: Morgan Kaufmann, 1999: 200-209 . Blum A, Chawla S.Learning from labeled and unlabeled data using graphmincuts . Proceedings ofthe 18th International Conference on Machine Learning. San Francisco, CA, USA:Morgan Kaufmann, 2001: 19-26 . Szummer M, JaakkolaT. Partially labeled classification with Markov random walks . Advances inNeural Information Processing Systems 14: Proceedings of the 2001 Conference.Cambridge, MA, USA: MIT Press, 2001: 945-952 . Chapelle O, Weston J,Schoelkopf B. Cluster kernels for semi-supervised learning . Advances inNeural Information Processing Systems 15: Proceedings of the 2002 Conference.Cambridge, MA, USA: MIT Press, 2002:585-592 . Ronan Collobert,Jason Weston, Léon Bottou, Michael Karlen, Koray Kavukcuoglu and Pavel Kuksa.Natural Language Processing (Almost) fromScratch. Journal of Machine Learning Research (JMLR), 12:2493-2537,2011. Andriy Mnih Geoffrey Hinton. A scalable hierarchical distributed language model. TheConference on Neural Information Processing Systems (NIPS) (pp. 1081–1088).2008. Mikolov Tomáš.Statistical Language Models based on Neural Networks. PhD thesis, BrnoUniversity of Technology. 2012. Eric Huang, RichardSocher, Christopher Manning and Andrew Ng. Improving word representations via globalcontext and multiple word prototypes.Proceedings of the 50th Annual Meeting of the Association forComputational Linguistics: Long Papers-Volume 1. 2012. Turian Joseph, LevRatinov, and Yoshua Bengio. Wordrepresentations: a simple and general method for semi-supervised learning.Proceedings of the 48th Annual Meeting of the Association for ComputationalLinguistics (ACL). 2010. 贺宇 , 潘达 , 付国宏 . 基于自动编码特征的汉语解释性意见句识别 . 北京大学学报 ( 自然科学版 ), 2015, 2: 006. 梁军 , 柴玉梅 , 原慧斌 , 等 . 基于深度学习的微博情感分析 . 中文信息学报 , 2014, 28(5): 155-161.
章成志 1, 2 1 （南京理工大学信息管理系 南京 210094 ） 2 （中国科学技术信息研究所 北京 100038 ） 本文对自动标引的研究进行总结与回顾。首先对标引对象进行界定；然后分析自动标引研究的三个阶段、并给出 50 年研究历程中的代表性方法；接着详细描述自动标引研究路线图、并对抽词标引与赋词标引方法进行详细分类；最后指出自动标引中存在的问题、并对今后的自动标引研究和应用方向进行展望。 自动标引；抽词标引；赋词标引 TP391 ； G252 Review and Prospect of Automatic Indexing Research Zhang Chengzhi 1, 2 1 (Department of Information Management , Nanjing University of Science Technology , Nanjing 210094, China ) 2 (Institute of Scientific Technical Information of China , Beijing 100038, China ) The re view of the automatic indexing research is presented. Firstly, the indexing object in the automatic indexing is proposed. Then, three phases and the representative methods of the automatic indexing in the past 50 years are described respectively . The road map of automatic indexing research is explained in detail. The classification of the keyword extraction and keyword assignment methods is put forward respectively . Finally, the issues in the automatic indexing are summarized, and the future research topics and application related to the automatic indexing are discussed. Automatic Indexing, Keyword extraction, Keyword Assignment 1 引 言 自动标引包括关键词自动提取（又称自动抽词标引）与自动赋词标引两种类型。 关键词自动提取是一种识别有意义且具有代表性片段或词汇的自动化技术 。 关键词自动提取 在文本挖掘领域被称为关键词抽取（ Keyword Extraction ），在计算语言学领域通常着眼于术语自动识别（ Automatic Term Recognition ） ，在信息检索领域，就是指自动标引（ Automatic Indexing ）。自动标引属于文本信息抽取的范畴。文本信息抽取是从文本数据中抽取人们关注的特定的信息。 由于关键词是表达文件主题意义的最小单位，因此大部分对非结构化文件的自动处理，如自动标引、自动摘要、自动分类、自动聚类、相关反馈、自动过滤、事件检测与跟踪、知识挖掘、信息可视化、概念检索、检索提示、关联知识分析、自动问答等，都必须先进行关键词提取的动作，再进行其他的处理。可以说，关键词提取是所有文件自动处理的基础与核心技术 。 目前大多文档都不具有关键词 , 同时手工标引费力费时且主观性较强 , 因此关键词自动标引是一项值得研究的技术 。 2 标引对象的界定 在对自动标引的研究做比较分析时，首先要明确自动标引的对象，即关于标引主体的问题。与自动标引比较相关的概念，主要有标引词、主题词、关键短语、术语等，本节对这些概念做个简要介绍。 标引词是指表示文献内容特征的词语，包括主题词、关键词、关键词短语（也称关键短语）等。 在图书情报领域，关键词是指揭示文献主题的、有实质意义的语词，一般来源于文献的标题、摘要、正文等部分 。 在图书情报界，主题是指能概括文献的主要内容、具有一定描述规则的规范化词语。在自然语言处理研究领域中的话题检测与跟踪（ Topic Detection and Tracking ）研究中，话题通常被定义为由某些原因或条件引起的发生于特定时间和地点、并可能伴随某些必然结果的一个事件 。在语言学界，与主题这一概念相关概念的还有话题。本文对主题的研究仅限于图书情报领域所研究的主题。主题词又称叙词。它是以概念为基础从自然语言中优选出来，经过规范化处理的具有组配功能的动态性词或词组。在情报检索中，用它来描述文献和检索提问的主题内容。它是构成主题词表的最小词汇单元。主题词包括正式主题词和非正式主题词两种。正式主题词是规范化的、用于标引和检索的词或词组；非正式主题词是收在主题词表中，提供从非规范词指向规范词的检索入口的引导词。主题词或主题词集合是浓缩程度最高、涵义最明确的替代文献形式 。 关键短语是具有强文本表示功能的特征短语。所谓强文本表示功能，是指在文本表示时，能将文本的内容特征（例如领域类别、主题思想、中心意义等）鲜明地表示出来 。通常所说的短语范围很广，包括自由短语、固定短语和半固定短语三类 。 术语是各门学科为确切表达本领域内的概念而创造和使用的专门词语 。 可以看出关键词概念比较模糊，有的关键词本身就是关键短语。图 1 给出术语、主题和标引词的关系。如图 2 所示，根据文本描述颗粒度不同，可将信息描述粗分为自然语言和控制词表两种方法，其中自然语言途径主要有全文、文摘、标题、关键短语、关键词等，控制词表途径主要有描述符、标题词、分类号、主题词等。 需要指出的是，本文对自动标引中的标引对象界定为关键词、关键短语或主题词。 3 自动标引的五十年 研究历程 3.1 自动标引研究的三个阶段 从 Luhn 于 1957 年开始进行自动标引后开始，到目前为止，自动标引研究经历了 50 年的发展历程。一直到 20 世纪 90 年代初，关于关键词自动提取的研究一直就没有停止过。 20 世纪 90 年代初到 90 年代末，自动标引研究渐渐冷却，原因主要包括： ① 全文索引逐渐被人采用，并且基本上能满足用户需要； ② 传统的自动标引方法的效率到了极限； ③ 网络兴起之初的冲击与信息需求环境的改变。 20 世纪 90 年代末一直到现在，关键词自动提取的研究逐渐升温，尤其是最近几年， 关键词自动提取研究进行的如火如荼，产生该现象的主要原因为： ① 全文索引的功能越来越难以满足实际需求，用户需要更加精确的结果； ② 另外互联网的很多服务，例如自动摘要，文档分类与聚类，文本分析，主题检索等都要依赖于关键词自动提取的结果，只有这样才能有希望从根本上提高信息服务质量。 3.2 五十年研究的代表方法 根据见诸于报道的自动标引研究情况，结合自动标引研究领域的影响程度和自动标引方法的创新程度，笔者归纳出 1957~2007 年五十年时间里比较有代表性的自动标引方法。 1957年，Luhn开始自动标引研究，首次将计算机技术引入文献标引领域，开创了以词频为特征的统计标引方法，其理论基础是Zipf定律，该方法具有一定的客观性和合理性，并且简单易行，在自动标引中占有重要地位 ； 1958年，Luhn提出基于绝对频率加权法的自动标引方法 ；P.B.Baxendale提出从论题句和介词短语中自动提取关键词 ； 1959年，Edmundson与Oswald提出基于相对频率加权法的自动标引方法 ； 1960年，Maron Kuhns提出基于相关概率的赋词标引方法 ； 1969年，H.P.Edmundson提出了一些新的加权方法，如提示词(预示词)加权法、题名加权法、位置加权法，并探讨了不同加权法的最优组合问题 ； 1970年，Lois L. Earl利用句法分析等语言学方法与词频统计方法相结合的方法来提取关键词 ； 1973年，Salton等提出基于词区分值的自动标引方法 ； 1975年，Salton等将VSM模型用于自动标引中 ； 1983年，Dillon等提出一种基于概念的自动标引方法，研制了FASIT系统 ； 1985年，Devadason提出基于深层结构标引方法 ； 1990年，Deerwester Dumais等提出潜在语义分析标引法 ； 1993年，Silva Milidiu提出基于相信函数模型的赋词标引方法 ； 1995年，Cohen提出N-Gram分析法的自动标引方法 。 1997年，简立峰提出基于PAT树的关键词提取方法 ； 1999年，Frank等人提出基于朴素贝叶斯(Naive Bayes，NB)的关键词提取方法 ； Turney 利用遗传算法和C4.5决策树算法等机器学习方法进行关键短语提取的研究 ； 2001年，Anjewierden Kabel提出基于本体的自动标引方法 ； 2003年，Tomokiyo Hurst提出了基于语言模型的关键词提取方法 ；Hulth利用Bagging算法进行了基于集成学习的关键词抽取 ； 2004年，李素建提出基于最大熵模型的关键词提取方法 ； 2006年，张阔提出基于SVM自动标引模型 ； 2007年，Ercan, G. Cicekli, I提出基于词汇链的自动标引方法 。 4 自动标引研究路线图 与方法分类 通过对自动标引研究的综述，本文总结出自动标引的研究路线图（ Road Map ）如图 3 所示。主要有三个领域的研究者对自动标引进行了不同角度的研究，即：图书情报领域，主要从资源构建角度进行研究，为主题标引提供了丰富的词表资源；语言学领域从语言分析的角度研究了主题提取的机制与方法，利用词法知识、句法知识、语义知识以及篇章知识进行不同层次的主题提取研究；人工智能领域主要从机器学习角度对自动标引进行了大量的研究，如利用启发式知识、标记数据的机器学习、无标记的机器学习、集成学习等方法的运用。 如图 3 所示，这三个领域分别从两个维度对自动标引进行研究，即：自动化程度维度，先后经历人工标引、机器辅助标引、自动标引等阶段；知识复杂程度维度，先后经历字、词、短语、语块、句法、语义、篇章结构等不同颗粒度的多种知识。 4.1 自动标引方法分类 根据标引结果的来源不同，可以将自动标引分为抽词标引和赋词标引。表 1 对抽词标引和赋词标引方法做了详细的分类，描述了具体的方法，并给出了各种方法的优缺点。 4.2 抽词标引方法的详细分类 如前所述，根据标引的词语的来源不同，可以将自动标引分为自动抽词标引和自动赋词标引。自动抽词标引是指直接从原文中抽取词或短语作为标引词来描述文献主题内容的过程。它涉及到如何从原文中抽取能够表达其实质意义的词汇，以及如何根据这些词汇确定标引词 。赋词标引是指使用预先编制的词表中词来代替文本中的词汇进行标引的过程。即，将反映文本主题内容的关键词（欲用作标引的关键词）转换为词表中的主题词（或叙词等），并用其标引的方法 。 自动抽词标引，可以进行如下的大致分类。 4.2.1 从机器学习角度分类 l 监督学习：将关键词自动提取看成一种分类问题： NB ， SVM 等； l 非监督学习：利用非监督学习方法，如聚类方法获取关键词。 图 4 给出了基于机器学习的自动抽词方法的逻辑视图。 4.2.2 从所使用的特征分类 l 规则信息，多为语言学特征，如标题、章节名、名词等作为关键词的概率大，相应的对这些特征赋予较高权重。其他的规则信息还包括对首次出现位置（DEP）靠前的、词性（POS）名词性成分高的词语赋较大权重等； l 统计信息，TF*IDF 、长度，短语的独立性等。 4.3 赋词标引方法详细分类 通常的赋词标引方法是借助于外部资源，如后控词表（包括同义词、上下位词、相关词等）、叙词表、本体等资源，将自动赋词过程转换为主题词的分类过程，或将文本的关键词转换为主题词。如图 5 所示，根据赋词标引所依据的外部资源对赋词标引方法进行详细分类。 5 自动标引存在的问题 与研究展望 5.1 自动标引存在的问题 自动标引中存在的问题包括标引数据集不平衡问题、标引代价敏感问题、标引数据标注瓶颈问题、标引颗粒度问题、标引关键词数问题、标引结果评价问题、标引系统实用化问题等 7 个方面的问题。下面分别对这 7 个问题进行说明。 5.1.1 标引数据集不平衡问题 对于一个文本来说，通常标引的关键词词数为 3-5 个，标引的关键词词数要远小于标引的非关键词词数。从自动分类角度来看，这个问题一般被称为分类数据集不平衡问题。在数据偏斜的情况下，样本无法准确反映整个空间的数据分布，分类器容易被大类淹没而忽略小类，分类不平衡问题是导致分类效果不理想的一个重要因素 。 5.1.2 标引代价敏感问题 在实际的关键词标引中，人们一般不希望将关键词误标为非关键词， 一个关键词漏标的代价比将一个非关键词标为关键词的代价高。 这个问题一般被称为 代价敏感问题。 5.1.3 标引数据标注瓶颈问题 机器 学习算法需要大量的标引样本，但已标引的样本所能提供的信息有限。另一方面，容易获得的未标引样本（如互联网上网页）数量相对于标引样本较多，且更接近整个样本空间上的数据分布。提供尽可能多的标引样本需要艰苦而缓慢的手工劳动，制约了整个系统的构建，这就产生了一个标注瓶颈的问题 。因此 , 如何用少量的已标引样本和大量的未标引样本训练出一个好分类器，逐渐引起人们的关注 。 5.1.4 标引颗粒度问题 一般说来，较专指的词适合作关键词，但专指度并不是越大越好。过于专指，不仅增加了自动标引的难度，而且，在实际应用中，比如信息检索中，由于该词过于专指，不被一般用户所接受，使得该词作为检索入口的概率就会减小。在文本聚类中，专指越多，则特征向量越容易稀疏，增加了聚类的难度。因此，应该根据应用的场合，进行专指度自适应式的关键词自动标引。 5.1.5 标引关键词数问题 对标引的关键词数有限制。根据应用场合选择合适的数目。在信息检索中，关键词作为一个揭示文本主题的单位，标引的关键词数适合定在 9 个词以内。主要原因为：首先，根据 7 (+/-) 2 认知规则 ， 9 是一般用户不需要特别努力，能够记住的词条个数 ；其次，文献的关键词手工标引词一般为 3~5 个，最多小于 10 个。值得注意的是，在某些文件自动处理（如自动分类、自动聚类）应用中，为了增加特征数目，同时又不至于产生高维数据问题，一般将关键词数目控制在 50 左右即可达到很好的特征选择效果 。 5.1.6 标引结果评价问题 传统的作法是对照人工标引的结果或者专家打分的方式，如 863 自动文摘测评中关于关键词提取的评估方法，这种方法比较主观，成本也比较高。因此，构建一个自动标引的通用评价模型，以减少自动标引的主观性，节省评价成本，是一项有意义的工作 。 5.1.7 标引系统实用化问题 绝大多数标引系统不是完全自动的，标引技术仍然处于实验阶段。正如十几年前 Wellisch 的比喻：自动标引系统的研制在某种意义上恰似机械鸟的制造，经过 20 多年的试验，有些外貌开始像鸟，有些能够模仿几声鸟鸣，有些能扑打一番翅膀，但至今还没有一只会飞、会鸣 。十多年过去了，标引系统的进一步实用化依然是人们追求的目标。 5.2 自动标引研究与应用展望 从自动标引研究路线图可以看出，自动标引的研究主流方法为 统计学习模型与语言知识（如词类、句法、语义、篇章结构等）的结合。今后的研究趋势主要存在如下四个方向。 5.2.1 本体的自动构建，并用于自动赋词标引中 从自动标引的研究历史可以看出，绝大部分研究集中在抽词标引上面，图书情报、语言学、人工智能三个领域的研究者都对抽词标引进行了大量的研究与应用。由于资源的匮乏或词表造价昂贵，使得赋词标引研究与应用相对较少。即便如此，机器辅助编制词表的研究一直没有停止过，该研究成果可以直接用于赋词标引。近年来，随着本体学习的研究的不断深入，本体有望自动或半自动地被构建，并且可用于自动赋词标引当中。基于本体的自动赋词方法是在概念层面上对文本进行标引，并能识别概念之间的关系，标引结果可以用于语义检索当中。 5.2.2 多种标引方法的集成学习、更理想的机器学习方法的运用 标引是一项富有智能性的工作。我们可以借助认知理论对标引任务进行分析和理解 。自动标引模型，从最初依据启发式知识进行标引，发展到后来利用监督学习与非监督学习方法进行标引，都只是从一定程度上对标引行为进行拟合。目前还没有一种方法能完全能模拟并达到标引员的标引能力。多种模型或方法的集成，能在一定程度上提高自动标引的质量。多种标引模型或方法的集成学习要求每个标引模型标引结果存在差别，同时保证标引结果优于随机猜测的结果。因此，寻求更加理想的机器学习方法，并用于自动标引任务中，是今后自动标引研究的趋势之一。 5.2.3 深层语言知识的获取及其在自动标引任务中的运用 自动标引主要依据候选对象的若干特征进行分析，将主题表达能力强的候选对象作为标引结果，如本文的标引结果为 自动标引；抽词标引；赋词标引。在所使用的特征当中，绝大部分是通过词法分析或少量的句法分析而来。随着深层语义分析和篇章分析研究的不断深入，这些研究成果可用于自动标引任务，提高标引质量。 5.2.4 自动标引的应用领域将不断扩展 最初，自动标引被用来解决文献缺少关键词这一问题。自动标引发展到今天，应用早已超过这一范围，它已经被广泛用于文本检索、自动问答、文本知识发现（或称文本挖掘）等领域。今后，随着互联网海量数据规模的进一步扩大，信息爆炸问题将变得更加紧迫。对信息资源进行基于主题的自动标引，并进行后续的数据挖掘，不仅能解决高维数据计算问题，并且能从主题或语义层次上对信息资源进行揭示和控制。随着语义网的不断深入研究和应用，作为一个传统的研究课题，自动标引将不断被赋予新的含义和特定任务。同时，自动标引的应用领域将不断扩展。 参考文献 ： 1 曾元显 . 关键词自动提取技术与相关词反馈 . 中国图书馆学会会报 , 1997, 59: 59-64. 2 王强军 , 李芸 , 张普 . 信息技术领域术语提取的初步研究 . 术语标准化与信息技术 ,2003, 1: 32-33, 37. 3 Xun E, Huang C, Zhou M. A Unified Statistical Model for the Identification of English baseNP. In: Proceedings of 4th ACM Conference on Digital Libraries, Beakeley , CA , USA , 2000: 254-255. 4 李素建 , 王厚峰 , 俞士汶 , 辛乘胜 . 关键词自动标引的最大熵模型应用研究 . 计算机学报 , 2004, 27(9):1192-1197. 5 张燕飞 . 信息组织的主题语言 . 武汉 : 武汉大学出版社 , 2005: 226. 6 Allan J, Carbonell J, Doddington G, Yamron J, Yang Y. Topic Detection and Tracking Pilot Study: Final Report. In: Proceedings of DARPA Broadcast News Transcription and Understanding Workshop. Lansdowne , Virginia , USA , 1998: 194-218. 7 侯汉清 , 马张华 . 主题法导论 . 北京 : 北京大学出版社 , 1991: 1. 8 刘华 . 基于关键短语的文本内容标引研究 . 北京语言大学博士学位论文 . 2005: 11-13. 9 戚雨春 , 董达武 , 许以理 , 陈光磊 . 语言学百科词典 . 上海 : 上海辞书出版社 , 1993: 97. 10 Lahtinen T. Automatic Indexing: an Approach Using an Index Term Corpus and Combining Linguistic and Statistical Methods. Academic Dissertation, University of Helsinki , Finland , 2000: 34. 11 Harter S P. Online Information Retrieval: Concepts, Principles and Techniques. Orlando , Florida : Academic Press, Inc., 1986: 42. 12 Luhn H P. A Statistical Approach to Mechanized Encoding and Searching of Literary Information. IBM Journal of Research and Development, 1957, 1(4): 309-317 13 Luhn H P. The Automatic Creation of Literature Abstracts. IBM Journal of Research and Development. 1958. 2(2): 159-165. 14 Baxendale P E. Machine-made Index for Technical Literature an Experiment. IBM. Journal of Research and Development, 1958, 2(4): 354-361. 15 Edmundson H P, Oswald V A. Automatic Indexing and Abstracting of the Contents of Documents. Planning Research Corp, Document PRC R-126, ASTIA AD No. 231606, Los Angeles , 1959: 1-142. 16 Maron M E, Kuhns J L. On Relevance, Probabilistic Indexing and Information Retrieval. Journal of the Association for Computer Machinery, 1960, 7(3): 216-244. 17 Edmundson H P. New Methods in Automatic Abstracting Extracting. Journal of the Association for Computing Machinery, 1969, 16(2): 264-285. 18 Lois L E. Experiments in Automatic Indexing and Extracting. Information Storage and Retrieval, 1970, 6: 313-334. 19 Salton G, Yang C S. On the Specification of Term Values in Automatic Indexing, Journal of Documentation, 1973, 29(4): 351-72. 20 Salton G, Wong A, Yang C S. A Vector Space Model for Automatic Indexing. Communications of ACM, 1975, 18(11): 613-620. 21 Dillon M, Gray A S. FASIT: A Fully Automated Syntactically Based Indexing System. Journal of the American Society for Information Science, 1983, 34(2): 99-108. 22 Devadason F. Computerization of Deep Structure Based Indexes. International Classification, 1985, 12(2): 87-94. 23 Deerwester S, Dumais S T, Landauer T K, Furnas G W, Harshman R A. Indexing by Latent Semantic Analysis. Journal of the American Society for Information Science, 1990, 41(6): 391-407. 24 Silva W T, MiliDiu R L. Belief Function Model for Information Retrieval. Jounral of the American Society for Information Science, 1993, 44(1): 10-18. 25 Cohen J D. Highlights: Language and Domain-independent Automatic Indexing Terms for Abstracting. Journal of the American Society for Information Science, 1995, 46(3): 162-174. 26 Chien L F. PAT-tree-based Keyword Extraction for Chinese Information Retrieval. In: Proceedings of the 20th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR1997), Philadelphia, PA, USA, 1997: 50-59. 27 Frank E, Paynter G W, Witten I H. Domain-Specific Keyphrase Extraction. In: Proceedings of the 16th International Joint Conference on Aritifcal Intelliegence, Stockholm, Sweden, Morgan Kaufmann, 1999: 668-673. 28 Turney P D. Learning to Extract Keyphrases from Text. NRC Technical Report ERB-1057, National Research Council , Canada . 1999: 1-43. 29 Anjewierden A, Kabel S. Automatic Indexing of Documents with Ontologies. In: Proceedings of the 13th Belgian/Dutch Conference on Artificial Intelligence (BNAIC-01), Amsterdam , Neteherlands, 2001: 23-30. 30 Tomokiyo T, Hurst M. A language Model Approach to Keyphrase Extraction. In: Proceedings of the ACL Workshop on Multiword Expressions: Analysis, Acquisition Treatment, Sapporo , Japan , 2003: 33-40. 31 Hulth A. Improved Automatic Keyword Extraction Given More Linguistic Knowledge. In: Proceedings of the 2003 Conference on Emprical Methods in Natural Language Processing, Sapporo , Japan , 2003: 216-223. 32 Zhang K, Xu H, Tang J, Li J Z. Keyword Extraction Using Support Vector Machine. In: Proceedings of the Seventh International Conference on Web-Age Information Management (WAIM2006), Hong Kong , China , 2006: 85-96. 33 Ercan G, Cicekli I. Using Lexical Chains for Keyword Extraction. Information Processing and Management, 2007, 43(6): 1705-1714. 34 韩客松 , 王永成 . 中文全文标引的主题词标引和主题概念标引方法 . 情报学报 , 2001, 20(2): 212-216. 35 索红光 , 刘玉树 , 曹淑英 . 一种基于词汇链的关键词抽取方法 . 中文信息学报 , 2006, 20(6): 25-30. 36 Dennis S F. The Design and Testing of a Fully Automatic Indexing-searching System for Documents Consisting of Expository Text. In: G. Schecter eds. Information Retrieval: a Critical Review, Washington D. C.: Thompson Book Company, 1967: 67-94. 37 Salton G, Buckley C. Automatic Text Structuring and Retrieval Experiments in Automatic Encyclopaedia Searching. In: Proceedings of the Fourteenth SIGIR Conference, New York : ACM, 1991: 21-30. 38 Salton G, Yang C S, Yu C T. A Theory of Term Importance in Automatic Text Analysis, Journal of the American society for Information Science, 1975, 26(1): 33-44. 39 马颖华 , 王永成 , 苏贵洋 , 张宇萌 . 一种基于字同现频率的汉语文本主题抽取方法 . 计算机研究与发展 , 2004, 40(6): 874-878. 40 Matsuo Y, Ishizuka M. Keyword Extraction from a Single Document Using Word Co-ocuurrence Statistical Information. International Journal on Artificial Intelligence Tools, 2004, 13(1): 157-169. 41 Witten I H, Paynter G W, Frank E, Gutwin C, Nevill-Manning C G. KEA: Practical Automatic Keyphrase Extraction. In: Proceedings of the 4th ACM Conference on Digital Library (DL99) , Berkeley , CA , USA , 1999: 254-26. 42 张庆国 , 薛德军 , 张振海 , 张 君玉 . 海量数据集上基于特征组合的关键词自动抽取 . 情报学报 , 2006, 25(5): 587-593. 43 Keith Humphreys J B. Phraserate: An Html Keyphrase Extractor. Technical Report, University of California , Riverside , 2002: 1-16. 44 侯汉清 , 章成志 , 郑红 . Web 概念挖掘中标引源加权方案初探 . 情报学报 , 24(1): 87-92. 45 Boris L, Andreas H. Automatic Multi-lable Subject Indexing in a Multilingual Environment. In: Proceedings of 7th European Conference in Research and Advanced Technology for Digital Libraries (ECDL 2003), Trondheim , Norway , 2003: 140-151. 46 苏新宁 . 信息检索理论与技术 , 北京 : 科学技术文献出版社 , 2004: 215-217. 47 曾蕾 . 知识组织系统 . 见 : 曾民族主编 . 知识技术及其应用 . 北京 : 科学技术文献出版社 , 2006: 122. 48 苏金树 , 张博锋 , 徐昕 . 基于机器学习的文本分类技术研究进展 . 软件学报 , 2006, 17(9): 1848-1859. 49 Yaakov H-K. Automatic Extraction of Keywords from Abstracts. In: Proceedings of the 7th Internationl Conference on Knowledge-Based Intelligent Information and Engineering Systems (KES2003), Oxford , UK , 2003: 843-946. 50 Leouski A V, Croft W B. An Evaluation of Techniques for Clustering Search Results. Technical Report IR-76, Department of Computer Science, University of Massachusetts , Amherst , 1996: 1-19. 51 章成志 . 主题聚类及其应用研究 , 南京大学博士学位论文 , 2007: 28-50. 52 储荷婷 . 索引自动化 : 自动标引的主要方法 . 情报学报 , 1993,12(3): 218-229. 53 Medelyna O. Automatic Keyphrase Indexing with a Domain-Specific Thesaurus. Master Thesis, University of Freiburg , Germany , 2005: 23-26. 注：本文发表于《现代图书情报技术》2007年第11期。 全文链接地址： http://www.sciencenet.cn/upload/blog/file/2008/8/200882621585975867.pdf 相关论文： Automatic Keyword Extraction from Documents Using Conditional Random Fields ( PPT ) 基于Citation-KNN的语义隐含主题词自动抽取方法
标签: 文本分析
