情报学研究中的金标准

武夷山

在我们的情报学研究中，很多人不太考虑“金标准”问题。所谓金标准，就是确实能用以衡量你的研究成果的创新性、实用性、准确性等等的东西。一些朋友开发了新指标、新方法，非常开心，我往往会给他们泼一点冷水：“你凭什么说你的指标、方法就更好？”也就是问：你意识到金标准问题了吗？

JASIST杂志2012年第2期发表了美国伊利诺伊大学Neil R. Smalheiser（他与非相关文献知识发现的创始人Don Swanson教授合著过）的文章，Literature-Based Discovery: Beyond ABCs（基于文献的发现：超越ABC模式）。原文见http://onlinelibrary.wiley.com/doi/10.1002/asi.21599/pdf。

Literature-Based Discovery，简记为LBD。本文讨论了如何为LBD系统创立金标准的问题。

Neil R. Smalheiser的思路之一，是创新性地利用其他数据集。例如，TREC Conference 2006、TREC Conference 2007的提问（queries），就类似于LBD中的单节点搜索，因为这些提问也是试图对给定类别（等价于LBD中的C_i文献）的文章进行排序，排序的依据是这些文章对给定的信息项（items）或概念（等价于LBD中的文献A）的相关性。

他的思路之二，是利用专家定性评价的结果作为比对。例如，将NIH所收到的RO1和RO2项目建议书的摘要拿过来（通过CRISP／RePORTER数据库可获取这些摘要），好的LBD系统对于那些经同行评议被批准项目的摘要应该打出较高的分。或者说，综述文献中提出的假说，可作为专家们认为什么是有前景的新研究方向的新标准。

他认为，下一步的当务之急，是开发一系列客观指标来测度文献的“有趣度”（Interestedness），有了这样的指标，就可针对不同的科学研究领域定制LBD的特定产出。

他还认为，生物信息学之所以火爆，是因为基因组学和蛋白组学数据集非常丰富，尽管生物信息学采用的数据挖掘方法、统计方法、文本挖掘方法等都很简单，仍旧收获颇多。科学文献也是很丰富的，因此LBD应该是有用武之地的。