对一项研究方案的意见（2010）

武夷山

2010年11月2日

  对方问：

有以下六个问题需要得到您的指导。

1、论文的分类评价方案（统一指标，综述文章单独设置权重，其他研究论文按一级学科设置不同的权重）是否合理？您认为跨学科的论文，应如何分类比较好？

本人答：

综述文章单设权重，其他论文按 一级学科设权重，是可以的，问题是，不同学科的权重怎么产生？由该学科专家投票吗？如果投票的结果，使得各学科差异太大，也不合理。可以由一组跨学科专家得出各指标的允许权重范围，免得学科间差异太大。

    跨学科但是以某一学科的讨论为主的论文，可以分到该学科；实在分不清的，归入单设的“跨学科”类为好。这一点可以探索一下。

2、当前，针对论文本身评估的引证计量指标极少，基本都是评估期刊的指标；且论文的引证数据量偏小，此时如果改造评估期刊指标用于评估论文，是否有其可行性和科学性？除报告里列出的指标外，是否还有其它可用于单篇论文的引证计量指标？

答：如果改造评估期刊的指标，将其用于评估论文，我认为是不合适的。例如，你发表在高影响因子刊物上，却没有被引用，要比发表在低影响因子刊物上而没有被引用，还要糟糕。发表在高档期刊上不代表文章水平高。

3、难易程度指标的计算结果是用权重还是用系数来表示呢？如果用难易系数表示，难易系数怎么来确定呢？我们在报告中给出了难易程度的计算公式，您觉得这个系数在多大范围内调节比较合适？

    答：我觉得，难度系数这个词不太好，是否用“工作量”？比如，需要大规模社会调查才能写出的文章，与只进行概念思辨就可完成的文章，工作量显然不一样。如果是这样，列举出反映工作量的类型，评审者自然就好判断了。同样是调查，100个样本与1000个样本的工作量不一样；利用学生作为调查样本与在农村入户采访的工作量不一样……这些因素都可考虑进来。

4、同行评议是定性的即时评价（一年）方法，引证计量是定量的延时评价（五年）方法，为了保证两者的评价结果具有相对一致性和校验佐证性，两者在设计各自的评价指标时，需要注意什么问题？

答：对前五年的定量评价结果，可以提供给下一轮的同行评议专家做参考，不必把这两者截然分开。

5、引证计量评价结果与同行评议评价结果的合成目前采用的是三七开再相加，您觉得这两部分的评价结果可以直接相加吗？如果能，权重比例各为多少比较合适？

答：我觉得，怎么加权都依据不足。不如搞三个榜：同行评议认为最好的文章；按指标计算出的最佳文章；前两个榜上均名列前茅的文章。三个榜都给用户参考。

6、评估的论文数量非常大（每年约50万篇），您觉得实施方案需要注意哪些问题，以便提高工作效率？

答：50万篇全部评估根本不现实。不如一年搞一个或几个学科，轮流来。另外，要充分利用已有数据。比如，各编辑部放在期刊封面上介绍的文章，一般是编辑部认为不错的，这个信息可以利用起来。

    以下是我在同一天对该项目的“正式”评价意见：

       这项工作不容易，做到目前这个程度，值得表扬。各学科的相同指标取不同权重的思路，是可取的。

主要存在问题：

1．             可行性考虑欠周全。例如，一年评50万篇，是不可实现的。不如让参评期刊自己推荐他们认为尚可的20％论文参评。我们只保证评出的是好样的，不保证那80％未被推荐的文章中没有宝贝。另外，结合定量指标，还能看出各编辑部的“推荐眼力”。凡是眼力好的，以后可允许他们多推荐一些，超过20％。另外，如果按现行设计，每个学科选3－5位专家对初评过关的论文进行复评，那要累死他们，再说，没有人对每个子学科都精通。每个学科至少选7－9位专家还差不多，但是成本又大大增加了。

2．        我个人对“正确”这个维度有疑义，主要是缺乏标准。领导批示，就代表某文章观点正确吗？比如我知道，某领导做的某个批示，只能反映此人少见多怪，并不反映被批示的文章水平高。与官方保持一致就是正确吗？搞学术的不能这样。与主流一致就是正确吗？在社科与人文领域，容忍边缘性的学说与看法，比在自然科学领域还要重要。

3．        被《新华文摘》等转载的指标，权重还可下降些。因为这只反映了《新华文摘》等刊物的编辑人员的眼界和鉴赏力，而这些人的水平实在是参差不齐，有些人的水平较高，另一些人则不敢恭维。