menmen的个人博客分享 http://blog.sciencenet.cn/u/menmen

博文

引文指标大PK:如何更准确度量科研成果的学术影响?

已有 864 次阅读 2021-9-6 10:37 |系统分类:论文交流

闵超南京大学

迄今为止,以被引频次为基础的指标,如引文、篇均引文、王冠指数、高被引论文数、H指数等(统称为引文指标)是科研成果影响力最有效、最直接的度量方式。在诸多的引文指标中,谁更能准确度量科研成果的学术影响力呢?

JDIS最近出版的一篇研究论文中,日本东京工业大学和国立自然科学研究院的研究人员提出了一个揭示大学研究内涵性的衡量维度——“实质性”(Substantiality),并证明了这一概念在评估和理解研究型大学上的重要性。

 

作者指出,“实质性”测度的是一定质量标准以上的成果数量。相较其他指标,侧重评估研究机构的“累积的卓越性”。简言之,研究有没有“内涵”。

 

传统指标,例如论文数量和领域标准化的引文影响FWCI(Field-Weighted Citation Impact[1],并不能很好地反映研究型大学的某些特质,作者举出了中国大学的例子。近年来清华大学和北京大学的国际排名迅速攀升。2011年,清华全球排名37位,然而领先清华的36所大学中有26所大学比清华发表的论文还要少;在前50名的大学中,那些排名低于清华的大学,其FWCI却并不比清华低。同样地,2017年,清华全球排名14位,北大22位,论文总量和FWCI也显示出类似的情形。

 

这两个传统指标的失效,问题究竟出在哪里?

 

作者认为,是某个重要的衡量维度被忽略了。从下图中看,哪所大学的表现更好呢?A大学似乎比B大学好,因为它的论文总数、总被引数、平均被引数、高被引论文数都高于B。但是B的表现似乎也不差,尽管没有高被引的论文,但是科研产出的平均影响力还不错,而传统指标却无法衡量。

agc25-0e5b5.jpg

图:大学A和大学B的论文总数、总被引数、平均被引数、高被引论文数对比


作者认为B大学所表现出的研究能力反映了其“累积的卓越性”,体现了区别于数量和质量指标之外的“实质性”。


作者借用围棋中“外势”的概念来揭示“实质性”的核心思想,即虽尚未实际围成地盘,但具有很大的发展潜力。

 

哪些具体指标能够体现一个机构的“实质性”呢?作者列出了一些,例如:高被引学者的数量、高被引论文的数量、机构层面的h5指数等。其中,h5指数能够清楚地捕捉到不同大学研究能力的特点,这是明显不同于传统指标的。

 

作者分别依据“实质性”指标和传统指标来对全球大学排名,然后将这两个排名与大学的综合排名做了相关分析,还考虑了指标与研究声誉的时间滞后影响。结果一致表明,与传统指标相比,“实质性”指标与大学的综合表现更相关,对大学的“内涵”有良好的评估和预测能力。



[1]计算方法:研究对象的论文的平均被引次数和相同学科、相同年份、相同类型论文平均被引次数的比值。



点击下方题目或链接即可直达全文图片

Masashi Shirabe & Amane Koizumi (2021). Substantiality: A Construct Indicating Research Excellence to Measure University Research Performance. Journal of Data and Information Science,  https://sciendo.com/article/10.2478/jdis-2021-0029.





https://m.sciencenet.cn/blog-3422014-1303042.html


下一篇:中国学术期刊建设存在马太效应么?发文量与影响力的关联性探究

2 许培扬 高友鹤

该博文允许注册用户评论 请点击登录 评论 (1 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-12-2 18:15

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部