heruspex的个人博客分享 http://blog.sciencenet.cn/u/heruspex

博文

不靠谱的“高”引用 精选

已有 5052 次阅读 2022-8-1 07:03 |系统分类:科研笔记

     论文发表前,经过同行评议的往往优于未经过的,这是因为提交的论文,即使资深的作者也不见得能确保论文是完美无缺的,总有可能百密存在一疏。要么实验比较不全、参数分析不深入,要么文献跟踪不完整、新文章没看到,诸如此类。结果,无修改直接接收的极少。最终发表的文章,往往是根据评审意见反复修改后,呈现的版本。这也是仅在线发表的论文有的时候不一定被大家认可的原因之一。

      那么,是否发表了就完事了呢?其实没有。此时的论文,还需要经过时间的检验和读者的评价,毕竟同行评议再好,充其量也不过来自屈指可数的几位评审。有的时候,甚至无法保证同行评价的质量。比如人工智能近年来的会议,动不动就上万篇投稿,想找到能匹配这个数量级和会议同水平级的评审,几乎是不可能的,结果,就导致了一些实际上并达不到这个水平的论文,也被接收了。而在线发表的,质量就更加参差不齐了。比如,有些作者为了能尽快占坑,不让想法被其他研究组抢先发表,会对理论、算法或实验的严谨性有所牺牲。

       既然发表了,要怎么去评判发表后论文的质量。抛开发表论文的期刊或会议的档次不说,一个重要的指标是看引用,因为它反映了相关领域科研人员对该论文的重视程度。然而,引用中有不少误区,在数量、来源、人三方面都存在,是需要小心甄别的。

       一是引用的次数。通常来说,引用次数越多,越能反映论文的影响力。不过,引用次数并非只有一条赛道。比如图书馆查新里涉及的引用次数,往往是指SCI他引次数。这个次数既要去除引用文章中自己引自己成果的部分,又要去除掉非SCI期刊引用论文的次数。所以,它的引用次数一般不容易得到高的值。

       值得指出的是,SCI他引对于某些专业并不公平。比如计算机科学,整个学科为了追求短平快的科研成果发表,推崇会议。结果,论文的引用也多是会议引会议的。如果按SCI查他引,显然会吃亏。好在谷歌推了一个谷歌引用次数,计算机学科一般会用它来评估。然而,网络搜索的次数也不是百分之百靠谱,毕竟里面是用人工智能技术来搜的。计算机学科的科研人员比老百姓更清楚人工智能能力的局限性。所以,一般也只会说,据不完全统计,本论文的谷歌引用是多少次。而不敢确信地说,我这论文的引用次数是百分百精准的。

        当然,还有些方向在引用次数上会更加吃亏,比如从事数学研究的。不少数学专业相关的科研人员研究的内容,可能只有他自己能看懂或深入研究过。其他人想沿他的路继续走都很难,自然就谈不上多少引用了。于是,数学界为了强调一项工作的重要性,会换个评价准则,比如用在国际数学家大会上的发言时间来作为重要指标,45分钟的报告才是重量级的。

        但是,有指标就有提升的办法。数学大家丘成桐在他的自传《我的几何人生:丘成桐自传》中谈过一段国际数学家大会的轶事,有兴趣的读者可以去看看。

      事实上,单谈引用次数,是有漏洞的。比如引用次数来自同一个或同类型的低档次期刊或会议。这种次数看上去多,有些甚至有助于进入ESI 高倍引的门槛,但其实意义不大,是“虚高”。也有少量引用是权力寻租式引用。比如有些国外期刊的国际编委,在审稿时,会要求引其发表的文章,是“假高”。还有一种,是“卷高”。这是因为期刊为了扩大自身的影响力,追求高SCI影响因子导致的。一般表现为,会要求投稿论文增加对该期刊的引用,结果间接导致了在该期刊发表的论文引用率增加。这倒也可以理解,毕竟期刊也要生存,也希望有更好的论文投稿。所以,用引用次数来判断论文的质量,应该需要做下细分,而非笼统地只看次数,才比较科学。

       二是引用的来源。如前所述,有些引用次数虽然高,但可能多数来自低档期刊或会议。从统计意义来讲,它意味着缺少该领域里的主流科研团体在跟进这一研究。或者反过来说,研究的内容,可能是旁枝末节,而非该领域当前关心的核心问题。这种高,是“偏门高”。在这种情况下,光看引用,有可能会产生误导,尤其会误导那些刚进来读研的学生,让他们对研究方向的前景产生错误判断。当然,这里需要与那些冷门但含金量高的研究,区分开来。而对热门研究来说,也应该避免为了追求高引用次数,仅通过小修小改获得的“灌水高”论文。

         三是引用的人。华山论剑,大家都期望自己的工作,能被高质量、高端人士看到和引用。所以,在评估论文的影响力时,也很自然地会看看有没有这类型的引用。比如论文被某一篇文章引用了,恰好该文章作者列表中有一位是IEEE Fellow,或者是某国科学院院士。那一般值得提一下,因为这可以表明论文得到了大牛的认可。但事实上,这有一个明显的误区,即这些大咖可能并没有看过被引用的论文。从逻辑上讲,论文的主角一般是一作,和/或学生。参考文献的形成,主要来自他在形成创新想法前和撰写论文期间的文献阅读。而论文里的大咖,则主要负责对论文总体的把握,以及论文存在的技术问题、概念问题、实验问题、语言问题的修改和建议。但对于参考文献中的内容,是否有充分时间来阅读,是值得商榷的。所以,即使其参与的文章引用了某论文,也并不能意味着大咖本人真的读过该论文。然而,现阶段,不少科研人员为突出自己论文的影响,有时会跳过其他作者,而强调其论文的引用源自某重量级大咖。这或许是费时又不得已的“攀比高”,不利于公平比较。

        那么,什么样的引用才是真正有含金量的呢?我觉得反而不会太复杂。最好的成果,必然是经得起时间考验的、能进入正经教材的。稍次一点的,应该是在该领域的多数研究,在一定时间内,会在此成果基础上持续推进,且能让人在改进成果中看到最初成果的思想、影子或框架。再其次,是新论文的实验部分,会与发表的论文进行详尽的实验比较或分析,甚至采用原文的整个实验设计方案。这些,才能真正表明了一项科研成果得到了同行的真正认可,才是我们应该在未来若干年一起去追的高引用。

张军平  

2022年7月31日星期日,初稿完成于桂林回上海的飞机上               

参考文献:

丘成桐,《我的几何人生:丘成桐自传》,南京:译林出版社,2021.


高质量读研其它文章:

1. 科研要记住的是名字而非帽子– 谈破五唯和忆孙剑

2. 《高质量读研》出版感言

3. 科研的主动性 — 从下厨做菜说起

4. 科研需要的品质:单纯


其它老师撰写的关于《高质量读研》的文章:

1. 刘全慧,祝贺张军平教授博文集《高质量读研》出版

2. 马臻,读科学网博主张军平的新书《高质量读研:教你如何写论文、做科研》

3. 陈德旺,因材施教与专注坚持是研究生成才的关键因素





https://m.sciencenet.cn/blog-3389532-1349529.html

上一篇:科研要记住的是名字而非帽子– 谈破五唯和忆孙剑
下一篇:不正常的“低”引用

14 璩存勇 周忠浩 王安良 许培扬 刘全慧 梁洪泽 王福明 高友鹤 郑强 王启云 史晓雷 宁利中 孙学军 汪凯

该博文允许注册用户评论 请点击登录 评论 (2 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-29 16:18

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部