2          排除词及其在信息检索中的作用

2.1 几个相关概念

先给出几个相关的说明如下：

Ω: 中文字符串集合；

S : 中文字符串，S=c₁c₂，…，c_n，即SÎΩ；

Ψ : 分词词典，用于中文分词；

T  : 已分词的训练语料。

下面给出与交集型切分歧义相关的基本基本定义。

定义1：交集型歧义切分字段。对于字符串S，S=c₁c₂，…，c_n，SÎΩ，S=c₁c₂，…，c_n为汉字，如果存在整数I₁,i₂,…,i_m，j_1,j₂,…,j_m,满足：

(1) SÏΨ；

(2) W1=C_I1…C_j1,W₂=C_I2…C_J2, W_M=C_IM…C_JM，且w₁、w₂、…、w_mÎΨ，且 中不存在包含w₁、w₂、…、w_m的词；

(3) w₁、w₂、…、w_m构成相互交叉，即：

1=i₁<i₂<j₁<j₂,i₂<j₂<j₃,i₃<i₄<j₃<j_4,...,i_m-2<i_m-2<j_m-2<j_m-2,i_m-1<i_m<j_m-2<j_m=n；

则称字符串S为交集型歧义切分字段（Overlapping ambiguity string，OAS）^[1]。

例如，字符串“日本体育”，其中“日本”、“本体” 、“体育”均为词，并构成交叉，因此“日本体育”是一个交集型歧义切分字段。

定义2：伪交集型歧义切分形式。对于给定的交集型歧义切分字段S，对于某一形式“c₁/…/ w_i/…/c_n”，其在T上的出现概率，即：p(c₁/…/ w_i/…/c_n|T)，低于给定阈值θ，则称该切分形式，即：“c₁/…/ w_i/…/c_n”为S在T上的伪交集型歧义切分形式，其中w_i为伪交集型歧义切分形式下的词语之一。

           例如，“市政府”虽然存在两种不同的切分形式“市/政府”和“市政/府”，但在训练语料中，切分形式为“市/政府”，而p(市政/府|T)=0<θ，因此，“市/政府”为市政府”在T上的伪交集型歧义切分形式。识别出伪交集型歧义切分形式后，分词系统就可以采用查表的方式直接确定分词形式,而不再参与后续的分词处理过程[6]，即歧义消解通过直接查表即可实现^[7]。

定义3：准交集型歧义切分字段。对于交集型歧义切分字段S，若S为复合词，且S可加入到词表Ψ，此时，S将不再是严格定义下的交集型歧义切分字段。则将S称为准交集型歧义切分字段（Quasi overlapping ambiguity string，QOAS）。

例如，“人民法院”开始不在词表Ψ中，其中“人民”、“民法”、“法院”均为词，并构成交叉，因此“人民法院”是一个交集型歧义切分字段。但“人民法院”为复合词，可将“人民法院”加入词表Ψ中，此时，“人民法院”不再是交集型歧义切分字段，而是准交集型歧义切分字段。显然，若将“人民法院”从词表Ψ中删除，则“人民法院”又成为交集型歧义切分字段。

定义4：排除词。对于给定的准交集型歧义切分字段S，存在伪交集型歧义切分形式，即c₁/…/ w_i/…/c_n，则称w_i与S构成排除关系，即w_i与S互称排除词（Mutually exclusive words，MEW）。例如“电脑科学”为准交集型歧义切分字段，存在伪交集型歧义切分形式“电/脑科/学”，因此“脑科”与“电脑科学”构成排除关系，即，“脑科”为“电脑科学”的排除词。同理，“民法”为“人民法院”的排除词。

2.2 排除词在信息检索中的作用

（1） 全文索引时降低索引膨胀率

当全文检索系统后台采用的是词索引时，通常情况下，系统会对词语所有出现的位置进行索引，例如，对“动机”建立词索引时，会将“电动机”、“永动机”等关键词的文档列入到索引中，这样以来，当用户检索“动机”时，自然返回结果中会包含“电动机”、“永动机”等不相关的文档。若事先建立排除词词典，在对排除词建立索引时，考虑类似“动机”与“电动机、永动机”等排除关系，即在该排除词词典的干预下，可以过滤这种语义不相符的索引,降低了索引膨胀率。

另外，在进行词索引时，若进行自动分词，借助于排除词词典，可加快分词质量和速度,这是基于记忆的伪交集型歧义切分处理过程^[7]。

（2） 信息检索中的缩检作用

利用排除词词典可以排除与查询式不相关的结果，如：检索“脑科”，排除包含“电脑科学”的结果，检索“个性化学习”，排除包含“化学”的结果，这样起到缩检作用，并提高检准率。

（3） 信息检索中的扩检作用

当信息检索系统返回给用户的结果过少，有些系统会对查询式进行解析，重新进行检索。例如，用户将“基本体操”作为检索词进行文档检索时返回结果很少，若用户希望得到更多相关结果，此时，一般的全文检索系统会对检索词进行字面折分，如将“基本体操”拆分为：“基本、本体、体操”作为新的查询式重新进行查询，返回包含有“基本”、“本体”或“体操”的文档。实际上，含有“本体”的文档和用户的实际需求是不符合的。在排除词词典的控制下，则可避免这种语义不相符的情况发生。

3          排除词识别方法

3.1 最大准交集型歧义切分字段识别

前面提到，只有当S被认定为复合词时，交集型歧义切分字段S与w_i才有可能构成排除关系。在没有上下文约束的情况下，复合词S的正确切分形式不包括切分为“c₁/…/ w_i/…/c_n”的情形，例如“发展中国家”可以切分为“发展中/国家”，“发展中”对“国家”起限定作用，但不可切分为“发展/中国/家”。在有上下文约束的情况下，复合词S有可能与周围的字符再次发生新的交叉关系。例如，句子“这反映了我国的Ｒ＆Ｄ活动在发展中国家居中等水平”，其中“发展中国家”与后续字符“居”、“中”、“等”再次交叉，构成交集型歧义，即，“发展中国家居中等”也是交集型歧义切分字段，其正确切分形式为“发展中国家/居/中等”。而在句子“致力于把个性化高品质的设计和一流的工业体系配套有效结合来发展中国家居产业。”中，“发展中国家居”为交集型歧义切分字段，其正确切分形式为“发展/中国/家居”。

由此可以看出，在有上下文约束下，即真实文本中，只有当包含准交集型歧义切分字段S的句子能切分出复合词S时，才能进一步进行排除词的识别。若该准交集型歧义切分字段与周围字符发生交叉，即成为交集型歧义切分字段，则需要进行歧义消解处理。若该准交集型歧义切分字段S不再与任何字发生新的交叉关系，则称该准交集型歧义切分字段为最大准交集型歧义切分字段，笔者借用最大交集型歧义切分字段的定义（Maximal overlapping ambiguity string，MOAS）^[1]，给出准交集型歧义切分字段的具体定义如下。

定义5：最大准交集型歧义切分字段。设 为准交集型歧义切分字段，满足：

（1） s _max=c_i…c_j(1<i<j<n)，且s _max Î S；

（2） s _max为交集型歧义切分字段；

（3） s中不存在包含s _max 的更大的交集型歧义切分字段；

则称s _max  为 s 的最大准交集型歧义切分字段（Maximal quasi overlapping ambiguity string，MQOAS）。

例如在句子“论法国会计模式对中国会计制度改革的借鉴意义”中，“法国会计”为准交集型歧义切分字段，“法国会”为交集型歧义切分字段，但“法国会计”涵盖了“法国会”， 同时不为任何交集型歧义切分字段所包含，因此“法国会计”是最大准交集型歧义切分字段。

识别最大准交集型歧义切分字段的意义在于：由于最大准交集型歧义切分字段不再与周围任何字符发生新的交叉关系，具有一定的独立性，因此，可以将它们从上下文环境中分离出来^[1]，直接做为排除规则，加入到排除词词典中，从而实现前面所提到的功能。

3.2 排除词识别方法

根据MQOAS的来源不同，将MEW识别分为两类，即基于关键词词典的MEW识别方法与基于语料库的MEW识别方法，下面将详细描述这两种识别方法。

（1） 基于关键词词典的MEW识别方法

该方法以关键词词典为基础，具体描述如图1所示。首先，依据语料库从关键词词典中识别出所有MQOAS，即识别出的MQOAS全部为关键词词典中的词语，在这里，笔者利用全切分的方法进行MQOAS的识别^[2]；然后，对每个MQOAS，在分词训练语料T上进行检索该MQOAS，若T上存在该MQOAS，则进行切分形式统计，对于其中某一切分形式“c₁/…/ w_i/…/c_n”，其在T上的出现概率，即：p(c₁/…/ w_i/…/c_n|T)，低于给定阈值θ，则认为w_i与该MQOAS构成排除词关系，并保存该结果；若在T上不存在该MQOAS，则进行手工切分，人工判别得到排除词，并保存结果。

（2） 基于语料库的MEW识别方法

该方法以语料库为基础，具体描述如图2所示。首先依据分词词典，在中文语料上利用全切分方法识别出所有最大交集形歧义MOAS；然后对每个MOAS，判别当前MOAS是否为复合词，在这里，复合词的判别可以人工判别或采用统计方法进行辅助判别；若为复合词，则在分词训练语料T上进行检索该MOAS，若T上存在该MOAS，则进行切分形式统计，对于其中某一切分形式“c₁/…/ w_i/…/c_n”，其在T上的出现概率，即：p(c₁/…/ w_i/…/c_n|T)，低于给定阈值θ（本文称改阈值为伪歧义判别阈值），则认为w_i与该MOAS构成排除词关系，并保存该结果；若在T上不存在该MOAS，则进行手工切分，人工判别得到排除词，并保存结果。

4          排除词识别结果与应用

4.1排除词识别结果

本文所用的关键词词典为CSSCI关键词词库，共包括489144条关键词。分词词典有两种，一个是人民日报分词词典^[8]，约10万词，另一个是Nju分词词典，约14万词。本文根据分词训练语料的规模，设置伪歧义判别阈值的经验值为θ=0.05。

（1） 基于关键词词典的MEW识别结果

基于词典的方法是采用CSSCI关键词词典，分词训练语料为人民日报1998年1~6月标注语料。将识别的结果分为三字词、四字词、五字词及其他等四种情形进行统计分析，结果如表1所示。从CSSCI关键词词典中识别出MQOAS的数量为58,228条，识别出MEW共16,964条，MEW占MQOAS的比率为29.13%。随着词长的变化，MEW占MQOAS的比率越在30%附近上下浮动。MQOAS、MEW的识别结果分布情况如图3所示。可以看出，MEW主要集中在四字词和五字词中出现。

（2） 基于语料库的MEW识别结果

    基于语料库的方法中，分别对人民日报2000年数据（约1200万汉字）与1995-2001年数据（约7.2亿汉字）做了测试，在识别MEW过程中，识别出的MAOS情况如表2所示。