我们将寻找相关文献的问题归纳为如下模型：给定某篇用户表示感兴趣的文献，系统的任务就是找到用户也会想要浏览（ examine ）的文献。因为这种活动往往发生在更为广泛的信息搜寻的行为之中，相关性可以作为感兴趣的指标，即，检索其他相关的文献。但是，我们用更宽泛的术语来描述这个问题：其他文献之所以成为感兴趣的文献可能因为它们讨论了相似的主题，有同样的引文，同样的背景，产生感兴趣的假说等等。 为了把这个问题限定在一定的范围内，在我们的理论模型中，我们设定感兴趣的文献就是在主题或者概念上相似的文献，对于 MEDLINE 中的记录而言，我们将自己限定在论文标题和摘要（在 PubMed 的扩展算法中也利用了 MeSH 主题词，这里我们不加以讨论）。按照信息检索的典型假设，我们希望按照用户愿意看这些文献的概率对文献进行排序。这样，我们的 pmra 检索模型就聚焦在估计 P ( c | d ) 上，即用户在表达出对文献 d 感兴趣的条件下，发现文献 c 也是感兴趣的文献的概率。 首先，把文献集合分解为互相排斥并且完备的“主题”（用集合 { s 1... sN } 表示），假设文献的相关性通过主题来表示，我们得到下面公式： (1) 【译注： P （ c|d ）为用户对文献 d 感兴趣的情况下，看文献 c 的概率， sj 为各个主题（ 1-N ）， P （ c|sj ）为对主题 sj 感兴趣的情况下，用户要看文献 c 的概率， P （ sj|d ）是对文献 d 感兴趣的情况下， sj 出现的概率】 用贝叶斯定理扩展 P ( sj | d ) ，我们得到： (2) 由于我们只关心文献的排序，分母可以安全地忽略掉，因为它独立于 c 。这样，我们获得下面给排序文献的标准： (3) 重新描述一下， P ( c | sj ) 是假定一个感兴趣的主题是 sj 的情况下，一个用户想要看文献 c 的概率。 P ( d | sj ) 也是同样的。这样，两篇文献相关的程度可以通过计算该主题的这两个概率与前置概率 P ( sj ) 的乘积，再对所有主题求和得到。 到目前为止，我们还没有表述主题准确的定义是什么这个重大问题。为了方便计算，我们简化了文献中的每个术语（ term ）都代表一个主题的假说（即每个术语承载着一个思想或者概念），这样，一篇文献的“关涉性”（ aboutness ：该文献讨论的话题）就通过文献中的术语来表达。和大多数检索模型一样，我们采用了单个单词的术语，而不是复杂的多单词的术语。这满足了我们关于主题集合要穷尽并互斥的要求。 从这儿开始，我们将借助以往基于泊松分布的概率检索模型所取得的成果。泊松分布的特点是描述在固定时间期间内，特定数量的事件发生的概率，如果这些事件以已知的平均率发生的话。核心假说是文献内容的生成模型：假设一个作者以恒定概率使用某个特定的术语，而文献则表现为一系列的术语。泊松分布指定了我们能够在一篇文献中观察到术语出现 n 次的概率。很明显，这并不准确地反映文献内容是如何产生的，尽管如此，这个简单的模型成为很多有效的检索算法的出发点。 本研究的内容模型还假设每个术语出现是独立的。尽管实际上术语出现是不独立的，例如，在文献中看到术语“ breast ”会使得看到“ cancer ”的可能性更大，可是这种简化做法可以使得问题在计算上易于操控。这一般被称作术语独立假设，并且在信息检索研究的早期就采用。最近有将术语独立性的方法引进到检索算法的研究（见文献 11 ）。 基于这个观点，我们提出了“精华性”（ eliteness ），与概率 IR 模型关系密切。设定有文献 d 是关于特定主题 si 的，按照标准定义，我们说代表主题 si 的术语 ti 为文献 d 的精华。反过来，如果文献 d 不是关于特定主题 si 的，则代表主题 si 术语 ti 就不算作文献 d 的精华。【译注：判断某个术语是否是这篇文献的精华，根据这篇文献是否为关于某个主题的文献。】 进一步假设，精华术语和非精华的术语以不同的频率使用。即，如果作者想要在文献中表述一个主题 si ，作者会用某一种概率（精华）使用术语 ti ；如果文献不是关于 si 的，那么作者将以不同的概率（可能很小的概率）来使用该术语 ti 。我们可以利用泊松分布提取所观察的术语的频率特征，用单个的参数（平均数）来定义，但是与我们的模型中的精华和非精华情况不同。 这样，我们希望计算 P ( E | k ) ：一篇文献是关于某个主题的概率，假设，我们观察到了相对应的术语 k 在文献中的次数，根据贝叶斯定理： (4) (5) 下面，我们计算两个概率 P ( k | E ) 和 P ( k | ) ，如上所讨论的，我们构建了两个泊松分布模型，对于精华情况，其分布是用参数 λ 来定义，对于非精华情况，其参数为 μ 。 (6) (7) 经过进一步的代数计算，我们获得了公式 8 ，由于同一个文献集合中每篇文献的长度不同，我们有引入了 l ，用单词数目计算的文献长度。以往研究中已经显示出文献长度的规范化在检索效果中起到了重要作用（例如在文献 12 ），较长的文献先天地更有可能有更多的查询词，最后，我们定义参数 η = P ( )/ P ( E ) 。 (8) 公式 8 如何与我们的检索模型有关呢？回忆公式 3 ，我们需要计算 P ( c | sj ) 和 P ( d | sj ) ：假定一个对特定主题感兴趣的用户想要去看特定文献的概率，为此我们用 P ( E | k ) ：我们假设用户想要看特定主题的文献中的精华集合，通过观察代表该主题的术语的出现频率。最后，我们用 idf 估计 P ( si ) ，即，含有 ti . 的文献数目的倒数。把所有这些放到一起，我们推导出了下面术语权重和文献排序函数： (9) (10) 一个术语在特定一篇文献中的权重（ wt ）可以通过公式 9 来计算，推导自在我们概率主题相似模型中对精华性的估计。两篇论文的相似性可以通过术语权重的内积来计算，在最终结果中，文献按照它们与当前文献 d 的相似度排序。需要说明的是，这个推导利用了已有的概率检索模型。 PubMed related articles: a probabilistic topic-based model for content similarity Jimmy Lin and W John Wilbur BMC Bioinformatics. 2007; 8 : 423. Published online 2007 October 30. doi: 10.1186/1471-2105-8-423. PMCID: PMC2212667
标签: 论文相似性
