评价的信度大家应该都知道，就是评价结果的可靠性。在科技评奖中，如果一批匿名专家的评奖结果和另一批匿名专家的评奖结果相同度越高，那么评价的信度一般也越高。

        在人文社科评奖中，如果不限定每个学科的获奖数量，放在一起评奖肯定是不合理的，因为不同学科一般是不可比的。但如果限定每个学科的获奖数量，由于不同学科的成果数量其实是不确定的，在评奖前无法知道，此外大奖数量毕竟有限，也不能每个学科都安排一个一等奖。即使大奖数量存在很多机动的余地，那么一等奖的指标不同学科如何分配？依据如何？所以最终结果是，不同学科的科研成果放在一起评奖是很正常的事情。

        也就是说，必须将不同学科的成果放在一起评奖。怎么比较呢？专家打分，问题是专家的学科不同，偏好不同，打分有高有低，不具有可比性。那么进一步改进，规定每个专家的平均分必须相同，比如85分，这样不同学科才具有可比性。真可以这样？其实是不可以的，因为专家可以打一个最高分100分，然后再打一个较低的分数，比如70分，这样可以保证平均分为85分。所以从打分的角度，无法保证不同学科的比较，也难以实现评奖的公平。

        在打分的基础上兼顾成果的影响可以吗？比如发表论文期刊的级别，论文被引用转载情况等等。这似乎可以考虑，但目前评奖采取的打分办法往往将这些内容包含在打分中了，也就是说，打分已经包括发表论文和成果转载引用情况。

        即使将打分和论文发表、转载、引用分开，还有另外一个问题，不同学科发表论文和转载的难易程度是不一样的，比如哲学、管理工程、应用经济学三个学科，管理工程的论文别指望会被《新华文摘》、《人大复印资料》、《中国社科文摘》等转载，哲学类论文数量总体上也没有应用经济论文多。

        所以，人文社科评奖要保证信度总体而言是个无解的问题，因为难以从方法上保证，这是我的直感，也许随着方法的进步会有所改观，但难以从根本上解决问题。

        何况，还有评审专家的良心、评审流程的透明、评价方法的相对公正等等问题，不说内幕了。

        自然科学评奖是不是也和人文社科差不多呢？

        几点小结：

        第一，人文社科评奖的信度总体较低，拿到大奖别太高兴，拿到小奖甚至不拿奖也不要不开心。

        第二，小奖也许比大奖更有含金量。由于诸多原因，评委必须给某个东东一个大奖，知道你的成果不错，然而不能给你大奖，就给个小奖，也不错的，要谢谢评委。

        第三，奖在哪儿？奖在你心中，如果你认为你做的东西真的付出了心血，会得到学术界的认可，这种认可不是可以用奖励来衡量的，有时，科研成果真正的分量远远超过所谓的奖励。用一句俗语：“金杯银杯，不如学术界的口碑”。

       想明白了，才会happy，不是吗？哈哈。

                                                                     2012.8.3 俞立平 于宁波