常常看到科学网很多学者讨论学术评价的时候总是关注原创性，但是这是买椟还珠，科研的本质在于解决问题。不能帮助解决问题的原创几乎没有意义。 以新中国期间作出突出贡献获得诺贝尔生理或医学奖的屠呦呦老师为例，同样是发现青蒿素这个化学结构，如果青蒿素不能有效治疗疟疾，她拿不了诺贝尔奖。对其工作重要性评价的落脚点是她的发现能干什么，能解决什么问题。 我再例举国际上更多的例子，大家来仔细看看。 2018年物理学奖——Arthur Ashkin “for the optical tweezers and their application to biological systems”， Gérard Mourou 和Donna Strickland “for their method of generating high-intensity, ultra-short optical pulses”。从表述上看，这两个例子很明显都是因为能帮助解决问题。 2018年化学奖获得者Frances H. Arnold的得奖理由是 for the directed evolution of enzymes, 是为控制酶的演化，也是为了解决问题。 George P. Smith 和 Sir Gregory P. Winter for the phage display of peptides and antibodies，很明确也是为了解决问题。 2018年生理或医学奖——James P. Allison and Tasuku Honjo for their discovery of cancer therapy by inhibition of negative immune regulation.看上去是发现，但是这个发现的意义在于治疗癌症，很明确是为了解决问题。 再翻翻往年的各大奖项，哪个不是为了直接解决问题，至少也是解释一个问题，而解释问题换一个表述，就是解决如何解释某些现象的问题，同样也是为了解决问题。比如2017年生理或医学奖——for their discoveries of molecular mechanisms controlling the circadian rhythm，必须注意到这个机制是明显指向特定功能的。因为这个功能重要，所以认识这个功能的机制重要。如果功能不重要，你发现了其机制也无所谓。 物理学史上，黑体辐射的理论遇到瓶颈，因为原理论假定原子辐射的频率频谱是连续的，不能解决定量计算遇到的能量无限的错误，普朗克解决了这个问题，提出了quanta的概念，也拿了诺贝尔物理学奖。如果他的理论不能帮助解决问题，他拿不了奖。 从牛顿力学到相对论的演进，是因为相对论可以牛顿力学在高速运动范围时定量计算的错误。虽然爱因斯坦没有因为这个工作拿到诺贝尔物理学家，但这是公认的伟大的贡献。而爱因斯坦拿到诺贝尔奖的工作——是为了解释光电效应，也是解决了如何解释现象的问题。 不能帮助解决问题，是首创又如何，谁在乎啊？
说明：本博客与微信公众号“林墨”同步更新，所有内容均为原创，可授权转载请扫码关注“林墨”公众号。 I3指标是2011年出现的一种新型的评价算法，旨在用百分位数取代平均值（例如期刊影响因子）。在I3指标的推广和应用过程中，多指标测度的学科评价思想逐渐显现，这一思想可以为我国双一流测评指标提供有益的参考。 步一 / Indiana University 注：图片来源于参考文献中的论文 影响因子（均值型算法）的缺陷：以 MIS Q和 JASIST为例 MIS Quarterly是管理信息系统（MIS）领域的顶级期刊，而Journal of the Association for Information Science and Technology（JASIST，原名Journal ofthe American Society for Information Science and Technology）则是图书情报学领域的顶级期刊。尽管它们的关注点有很大的区别，但是在ISI的分类系统中，这两本期刊都被分在了Library and Information Science类别下。今年Clarivate Analytics发布的《期刊证报告》显示，MIS Quarterly的影响因子高达7.268，而JASIST则只有2.322。JASIST的影响因子低于MIS Quarterly这一现象早在多年前就已经出现，并一直保持至今。 2011年，Loet Leydesdorff和Lutz Bornmann研究发现，以2007-2008年为例，JASIST上刊载的文章中有375篇得到过至少一次引用，而MIS Quarterly刊载的文章中有66篇得到过至少一次引用（均为2011年2月统计结果）。但是，JASIST上前66篇获得被引的文章比MIS Quarterly上的66篇被引文章多获得了380次引用。可以想见，JASIST较低的影响因子在很大程度上源于其上刊载了大量零被引或低被引论文。Loet Leydesdorff等人指出，这进一步说明评价学术影响力不应当以均值或中位数等有向中间靠拢趋势的统计量（central-tendency statistics）为唯一标准；不过可惜的是，以影响因子为代表的一系列目前较常使用的评价指标都是使用均值作为标准化依据的。 百分位数计量指标『I3 』 Loet Leydesdorff和Lutz Bornmann随即提出了“整合影响指标”（integrated impact indicator，简写为I3指标），用来度量文献计量实体（如出版物、期刊、会议论文集、作者等）的影响力。 ，其中 代表百分比排名， 代表该排名出现的频次。I3指数摒弃了以均值或中位数为标准化标准的措施，采用百分位数为标准化措施的依据，进而对影响因子等传统评价方式进行补充和改进。在期刊层面进行实证研究发现，期刊的I3指标和该期刊内刊载的有被引记录的文章数量呈现一定的正相关关系（如上图所示）。 Loet Leydesdorff和Lutz Bornmann还给出了科学评价时进行分组和决策的具体策略。他们建议使用 99-100%（即排名最靠前的1%）、95-99%、90-95%、75-90%、50-75%和0-50% 这六组作为基本评价时的分组方式。 I3的核心思想：多维度评价优于单维度评价 基于I3指标，南京大学叶鹰教授（欧洲文理科学院院士）和Loet Leydesdorff在2014年建立了一项 科学评价的框架 ，指出以多指标测度评价学术个体和学术群体。他们将发文分值、引文分值和两者的差分别以三个向量的形式存储在对称矩阵V中，每个向量均由三个元素组成，分别代表该项指标的核心区域值、长尾区域值和零值。这里，矩阵V的迹（即对角线元素的和）可以在很大程度上有效地进行科学评价。这项研究不仅挖掘出多指标混合矩阵中“迹”的文献计量含义，而且还强调了多指标测度对于学术评价的重要作用。2015年，台湾大学黄慕萱教授等人还将这一方法应用于专利评价方面，该方法也显示出良好的效果。 今年，叶鹰教授、Lutz Bornmann和Loet Leydesdorff发表了一篇文章，使得I3指数得到了进一步的推广。在该文章中，I3指标开始与 h 指数（如果一位科学家一共出版了n篇著作，假如他（她）有h篇论文每篇被引了至少 h 次，而其他( n-h )篇论文每篇被引了至多 h 次，那么他（她）的 h 指数就等于 h 。）结合起来，并且该文进一步强调多指标测度评价的必要性。从评价效果上看，多指标测度评价优于单一指标，多指标测度的考虑范围更广更全面。另一方面，多指标测度评价在实施过程中是多个简单指标的综合，因而便于评价者收集数据，尽管其运算过程较为复杂，但在现今的技术条件下亦不是问题。值得注意的是，多指标测度并非多个简单指标的综合，而是分布于不同测度区位的各个指标的协同。这种多维度测度的评价思想和方式或许可以为我国双一流测评指标提供有益的参考。 参考文献 Leydesdorff, L., Bornmann, L.(2011). Integrated impact indicators compared with impact factors: Analternative research design with policy implications. Journal of theAssociation for Information Science and Technology, 62(11), 2133-2146. Ye, F. Y., Leydesdorff, L.(2014). The ‘‘Academic Trace’’ of the performance matrix: A mathematicalsynthesis of the h-index and the integrated impact indicator (I3). Journal ofthe Association for Information Science and Technology, 65(4), 742–750. Huang, M.-H., Chen, D.-Z., Shen, D.,Wang, M.S. Ye, F.Y. (2015). Measuring technological performance ofassignees using trace metrics in three fields. Scientometrics, 104(1), 61–86. Ye, F. Y., Bornmann, L., Leydesdorff, L. (2017). H-based I3-type multivariate vectors: Multidimensiona lindicators of publication and citation scores. COLLNET Journal ofScientometrics and Information Management, 11(1), 153-171. Hirsch, J. E. (2005). An index toquantify an individual's scientific research output. Proceedings of the National Academy of Sciences of the United States of America, 102(46), 16569.
Alternative metrics, sometimes shortened to just altmetrics, is an umbrella term covering new ways of approaching, measuring and provideing evidence for impact. ——Euan Adie Alternative to what (替代什么）？ 替代计量中的“替代”部分，意指替代研究计量的传统视角，即仅使用引文来测度影响力。 但是这并不是说，要完全代替基于引文的计量指标。 Uptake of Altmetrics（替代计量的采用） Publishers and institutions have been quick to take to altme-trics of various forms, and many journal platforms support the provision of altmetrics in some form as standard; altme-tric.com alone serves some 4M requests for data a day, and some publishers like PLoS successfully run in-house altme-trics collection programmes. Interestingly one of the primary drivers of usage of altmetrics is authors looking at their own work, rather than other people’s. This makes sense: if you published a paper tomorrow, would you interested in who else might read or discuss it? Would you want to have some indication of whether or not it was getting more or less attention that you might expect? Partly this is, for lack of a better word, an ego thing. It’s natural as an author to want to know who has seen your work, who is reading it properly, commenting on it, citing it. In this context, however, egotism isn’t a negative character trait. Rather it’s something that you need to have developed to be a successful researcher –grants don’t go to people who can’t demonstrate that they’ve had any influence in their field. Practically speaking this means that the majority of acade-mic publishers using altmetrics do so as an author service, linking to altmetrics data reports from each article. Using the data for discovery is less popular amongst publis-hers, perhaps because of the more complicated integrations required for their platforms. That said several successful pilots have been run by Elsevier (showing articles that have been ta-lked about recently on journal homepages) and others. Altmetrics are also used in other areas: by institutions as an awareness tool, for research admin or for reputation mana-gement; by funders, looking for evidence to help show that grant funded research outputs are giving value for money and by mainstream media to pick up interesting stories be-fore they’ve been picked up in other media outlets. Challenges（替代计量面临的挑战） Before altmetrics can truly be considered mainstream there are several challenges to overcome. One is simply a common understanding of exactly what altmetrics are and how they should be used: the price of rapid progress in the field has been some confusion over exactly what is being claimed; about what’s hope and what’s hype and what circumstances the data is to be used in. Another is to get stakeholder communities involved in the further development of altmetrics tools and best practice. Up until now altmetrics has been driven by the people working in that field (and coming, generally, from academic re-search or publishing backgrounds). If altmetrics are to be truly useful to, for example, a small biomedical funder then we need small biomedical funders to be speaking up and talking about what the data they need is. Finally, data availability and reliability is critical. Citations have the benefit of being for the most part stable, captured in the scholarly record and clearly recorded, at least since the advent of CrossRef, Scopus and Web of science. The nature of altmetrics data is that it is much more transient and difficult to capture, at least in a way that allows for clear auditing and tracking data back to the source. 截选自Taking the alternative mainstream，里面也有涉及替代计量内涵的探讨，包括替代计量的快速发展造成的一些困扰。
标签: 科学评价
