说明:本博客与微信公众号“林墨”同步更新,所有内容均为原创,可授权转载请扫码关注“林墨”公众号。 摘要 科学计量的机制是学者投票,Altmetrics (补充计量学)的机制是大众投票。一项研究证明学者投票与大众投票之间存在相关性,因此,我们应该认可奥巴马的科学贡献? 张东冉 / 河北大学 李江 / 浙江大学 注:图片来源于搜狐网 奥巴马于2016年7月11日在 JAMA 上发表一篇题为United States Health Care Reform: Progress to Date and Next Steps的论文,发表之后以8063的 Altmetrics 得分拿下『 2016年世界学术论文影响力TOP100 』的第一名,并远远超过第二名的4912分。另外,奥巴马是独立作者哦。 好吧,这是一个赢者通吃的社会,前总统在学术界客串一把,便秒杀辛勤耕耘一辈子的科研工作者。这个结果太讽刺了,不对,一定是哪里出了问题。 奥巴马的论文产生的社会影响力来源于总统光环,而非科学贡献。因为,他这篇论文在 Google Scholar 上至今只被引用了203次(2017年12月14日统计)。 Altmetrics 得分是大众投票,即用点赞、转发、评论等来度量科研成果在社交媒体上的影响力;科学计量是学者投票,即用引用来度量科研成果在学术界的影响力。评价学术成果质量应该是学术界的事情,应该由科研工作者来投票,最好的方式是同行评议,在同行评议不可行的情况下,可以用引用替代(引用和同行评议结果之间存在相关性)。把投票权交给普罗大众,会不会太儿戏? 大众投票权 社交媒体为普罗大众提供了投票权。 ResearchGate是由Ijad Madisch于2008年创立的科研社交网络服务网站,旨在改变研究人员进行科研的方式。目前在全球范围内有700多万会员,现在已经发展成为最受欢迎的学术社交网络之一,通过ResearchGate平台,会员可以维护自己的出版物,询问和解答与研究有关的问题,关注其他研究人员以及了解他们的出版物更新情况。 对机构而言,大众投票与学者投票正相关 在ResearchGate中,可以选择影响力,出版物数量,下载次数和剖面图来衡量机构和研究人员的学术影响。ResearchGate评分是一项新的绩效指标,它通过测量研究人员的出版物,提出和回答的问题以及追随者数量整合科学计量学和补充计量学。 Yu MC等人选择以英国的 REF(Research Excellence Framework)大学排名和 QS 大学排名为参照,用机构的ResearchGate 评分与这些排名进行相关分析,结果显示,ResearchGate评分与所有REF指标(产出,影响,环境和总体质量)的相关性都保持在0.400的中度相关水平;与三个QS指标(分别是学术声誉,每个教师的引用以及相关分析的总分)的相关系数都在0.5以上,即强相关(按照Cohen对相关系数的解释:0.10代表弱相关;0.30代表中等程度相关;0.50代表强相关),这表明ResearchGate评分是衡量研究机构“学术声誉”的有效指标。 对个人而言,大众投票与学者投票也正相关 作者选取供应链管理领域的300位学者为样本,选取两个SciVal指标:SciVal字段加权引用影响 FWIC 和SciVal每篇文章的 被引次数 ,与六个ResearchGate指标: RG评分,RG影响力,RG论文下载次数,RG论文评论数量,RG被引次数和RG剖视图进行相关分析。结果显示,RG指标与SciVal指标之间显著正相关,这表明ResearchGate评分是衡量研究人员“学术声誉”的有效指标。 值得注意的是,相关性并不代表 Altmetrics 评分完全可替代科学计量指标,而只表明 Altmetrics 可以作为科学计量学的有效补充。 科学评价的事情还是应该把投票权交给科研工作者,不然,你猜猜通过大众投票来评选诺贝尔奖会是什么结果。但是,这并不代表大众投票没用。科学研究的终极目标是要为全人类服务,根据大众投票来判断科研热度与社会反响是有效的(当然,我们必须承认,社会反响与研究质量可能正相关,但不能替代研究质量)。 从为全人类服务的角度来看,我们既要研究质量,也要社会反响。所以,我们既要鼓励科研工作者从事高质量研究,去探索人类的未知,也要鼓励科研工作者与社会公众互动,用研究所得去提升大众的知识水平。 参考文献 Yu, M. C., Wu, Y. C. J., Alhalabi, W., Kao, H. Y., Wu, W. H. (2016). Researchgate: an effective altmetric indicator for active researchers?. Computers in Human Behavior , 55 , 1001-1006. CALL FOR PAPERS 欢迎向林墨推荐论文(发送PDF)或投稿(撰文1500字),一经采用,林墨向您支付稿酬,并具名致谢,投稿方式:linmo_wx@163.com 林墨是一个公益的学术新媒体。我们努力追踪全世界的以科学家为对象的研究成果,并分享给学术界。 关注我们,了解更多林墨动态。
如何客观公正地衡量一个人的学术产出? 影响因子?H指数?替代计量? 影响因子H指数都是基于引文,通过引文情况衡量影响因子,真的很靠谱吗? 首先,影响因子具有时间上的滞后性。必须是发表了之后,才可能被引用。有了引用的数据,影响因子的计量才开始。其次,影响因子具有内容上的片面性,部分引用,只是因为概念上的相关,甚至是指出原文献的不科学之处,对施引文献的产生实质贡献的力度有待进一步挖掘和衡量。再次,存在特别有分量的作品,与其同时代的人不能读懂,尚无能力客观评价其贡献的现像。 以这篇文章为例 McKee P A, Castelli W P, McNamara P M, et al. McKee P A, Castelli W P, McNamara P M, et al. The natural history of congestive heart failure: the Framingham study . New England Journal of Medicine, 1971, 285(26): 1441-1446. 这篇发表在1971年的文章在WOS上引文数为1698,在Scopus上的引文数为1700,在Google Scholar上的引文数为2608,以哪个为准? 这篇文章在1972年,WOS上的引文数为7,Scopus上的引文数为1,Google Scholar上的引文数为4,从差别如此之大的数字来看,所谓的权威数据库,所谓的全球收录最大的数据库,在学术评价上真的客观吗?再细看WOS、Scopus、 Google Scholar 上提供的引文清单,不相互重合。WOS中的7篇不包含Scopus中唯一的一篇, Google Scholar 上1972年引用此文的4篇,与WOS收录的1972年引用此文的7篇中仅3篇重合。 即使假定这些数字为真,仅从引文数字看起来,是个表现平平的文章。 WOS上对此文的引文情况,按年度排列 WOS上,该篇文章的发表后的第一个10年的引文情况 Scopus上,该篇文章发表后的第一个10年的引文情况 由此可见WOS、Scopus、Google Scholar中的原始数据集均有待完善,基于不完善的数据集的引文量化进行学术影响力评价,得出的结论,看看可以,信以为真,甚至作为指南和目标,恐怕不行。其实引文索引的创始人E.Garfield对基于引文计量的评价价值有天生的不足( The use of journal impacts in evaluating individuals has its inherent dangers)参见 。 文章在互联网上可以被公开发现和评论,给基于文章价值本身的发现带来了更多的机会。于是,有人提出了替代计量学(Altermetics)。但是目前,替代计量学未引起国内机构和学者的广泛认可 ,且不完全符合中国学者的研究行为习惯,会引起因在网际知名社交网络上爆光度不高带来不客观的评价。长期关注计量研究的学者邱均平提出了金字塔型的替代计量指标分层 。分为应用层,社交媒体层,应用层三个层次,在文章的讨论部分,依然导向了基于引文的评价。 那么,引文可不可取,可不可信?应该如何客观公正地评价一篇文章的学术贡献呢? 笔者认为,引文、社交媒体等信息,均来自外部评价,并不能武断地依据这些信息对一篇学术作品的影响力下定论。就像我们知道了一个人的身高和体重,不能断定这个人是什么样的人一样。对文章贡献度的评价,应该回归到文章内容上来。但是评价文章内容本身,是有学术门槛和时间成本的。不适宜大规模大批量的应用。而研究的支持方需要知道他们对某个团队或者某个方向的资助值不值得,资金的提供方又没有高深的学术水平,社会的竞争异常激烈,谁抓住了创新的原始股,谁就赢在了起跑线上。 焦虑啊,这可怎么办呢?只能求助于社会资本理论中的信任了。 1、基于引文的衡量还是有重要参考价值的。只是不单是看文章发表在什么样影响因子的期刊上,不单是看文章被多少人引用了,而是要细化到在哪些地方被引用,该文章的内容为后继研究做了哪些贡献。如杜建、武夷山等对”睡美人型“、”王子型“文献的识别研究。这需要较大的时间跨度。 2、从文章如何引用别的文献,查看作者相关研究综述的功力。从文章语言用词和图表规范,判断作者的学术写作功力。这需要基于全文的分析和基于大规模优质样本的学习,这个工作,机器可以做些辅助。 3、研究文章作者的可信度。所谓风过留痕。一份重量级文章的出现,必然出自持续积累和敏锐洞察。如何建立基于作者的可信模型,笔者目前还没有思路。但基于笔者对中国工程院12名1950年之后出生主要在高校从事研究的信息与电子工程学部院士的网上可分开获取的素材来看,信息源视野,也就是说,这个人在每个阶段都和哪个学术声望层级的人接触与联系,他能够使用的有组织的知识资源状况,他可以用的技术条件和手段等,是个很有参考价值的指标。 为什么会想到上面这三点呢?笔者认为这和中国的传统文化有关。 笔者认为中国的文化传统,是在全球文明中是个独特的存在。对个人价值的认可,不依附为他人的认定,不依附于官方的指派,是天人合一的存在,是个人与时空、空间的对话。 例如: 前不见古人 ,后 不见来者 。念天地之悠悠,独怆然而涕下。陈子昂 例如:君不见黄河之水天上来,奔流到海不复回。君不见高堂明镜悲白发,朝如青丝暮成雪。黄河走东溟,白日落西海。逝川与流光,飘忽不相待。春容舍我去,秋发已衰改。人生非寒松,年貌岂长在。吾当乘云螭,吸景驻光彩。李白 例如:兰亭集序,时间、空间、自我情感的描绘。 研究论文纵使不能如同文学般行云流水,任意发挥。但好的文章,首先应基于作者对自己研究,在自己所研领域的精确时空定位。本文提出的第一条,基于引 文的衡量,能侧面反应作者对自己研究的定位。如果阅稿人是在正式发表之前看到文章,例如是审稿人,则本身是相近领域学者,可了免去对低水平文章高估的误判。如果阅稿人是在正式发表之后看到文章,本身已经说明该文章至少被所刊的期刊认可。本文提出的第二条,虽然咎于形式,但形,神之所附也。基于内容级别的深度挖掘,已经相对客观了。本文提出的第三条,其合理性和科学性,希望与诸位共同探讨。 Garfield, Eugene. The history and meaning of the journal impact factor. Jama 295.1 (2006): 90-93. Garfield E. Citation analysis as a tool in journal evaluation . American Association for the Advancement of Science, 1972. 邱均平,余厚强. 论推动替代计量学发展的若干基本问题 . 中国图书馆学报 . 2015(01) 邱均平, 余厚强. 基于影响力产生模型的替代计量指标分层研究 . 情报杂志, 2015 (2015 年 05): 53-58.
由信息计量学新词altmetrics的翻译想到的 翟自洋 (一) 前些时日,比利时信息计量学家、国际科学计量学与信息计量学会 (ISSI)主席鲁索(Ronald Rousseau)先生访问中国,应张月红老师邀请,为我们作了题为“Big Data, altmetrics and the field of informetrics”(暂译为“大数据、补充型指标计量学与信息计量学领域”)的报告。 被altmetric难住了。网上检索,没查到中文译名。有这么一段话: Increasing scholarly use of Web2.0 tools like CiteULike, Mendeley, Twitter, and blog-style article commenting presents an opportunity to create new filters. Metrics based on a diverse set of social sources could yield broader, richer, and more timely assessments of current and potential scholarly impact. Realizing this, many authors have begun to call for investigation of these altmetrics. 看来是个新玩意儿。怎么译呢?当即想到平易近人的武夷山老师和鲁索先生的高足刘玉仙博士。二位老师很快回复。征得二位老师同意,把他们的回复部分或全部搬到这里。 武老师:译不好,权且译作“社媒影响计量学”吧。它由Alternative与Metrics合并而来,因此可译为“另类文献计量学”,但中国语境下“另类”带贬义。既然有补充替代医学的说法,那么循例也可译作“补充型指标计量学”,好处是可以覆盖社媒影响以外的其他补充型指标,但8个字太长。 刘博士:altmetrics是新词汇,可能还有没有恰当的翻译。鲁索在他的文章中好像批判了这个词,因为不同的媒体会不断出现,我们不能每一种媒体出来后,就来个替代,然后替代1,替代2下去,就没有什么意义了。相比于其他的metrics, altmetrics的实质区别是把科研过程所产出的数据都考虑进来的计量学。 果然,鲁索在报告中批判了这个“坏名字”(bad name),建议代之以INFLUMETRICS: First, altmetrics is just a form of informetrics. More importantly, what is alternative today is mainstream tomorrow; and how shall one refer to the new approaches that will be proposed the next decade? Why not call this new approach web-based social influmetrics, or INFLUMETRICS in short? ——我们在为新词翻译伤脑筋,人家自己还在争得不亦乐乎呢。 我的感觉,武老师的建议中肯:“补充型指标计量学”正好对应altmetrics,“社媒影响计量学”则对应INFLUMETRICS。武老师谦逊的“译不好”,鲁索直截了当的“bad word”,反映出的是二位学者“所见略同”吧。赞同鲁索的建议,以INFLUMETRICS取代altmetrics;相应的,“社媒影响计量学”的译名也更简洁、直观。 翻译之事,要想信达雅,甚至更进一步,看出外文词的不足,殊非易事。为了“从心所欲而不逾矩”,唯有多多阅读吧。 (二) 据鲁索讲,这新指标尚未落地,属于软指标,因其易受操控、主观性——报告中提到,Man Kit Cheung在《自然》通讯文章中指出:“喜欢”或者“分享”缺乏权威性和科学可信度,因此使用“补充型指标计量学”的时机可能尚未成熟。正如鲁索所说,今天的补充型指标,明天或许取而代之,成为主流。“明天”究竟会是哪一天?就看一众博客发烧友们的努力了。博主看好其前景,初步列出三点理由: 1. 因了科网博客,知道程代展老师虽无“院士”头衔,却有超过一般院士的学识。与世俗的名利、地位绝缘,某种意义上也是好事。譬如,可以有更多时间做自己想做之事,而不必浪费时间做难免违心之事。借助博客,写自传、做科普,传道解惑,润物无声。相较于头衔和功名,兼具思想和文采的文字或可以长久流传,影响深广。 通过刘全慧等博主的推介,我等外行也得以窥知,多被调侃的杨振宁先生,在学界同行心中地位极高。科学巨人,对于人类的贡献,是超越性的。生活轶事,增添趣味,更显其非凡。博客的互动和传播,为原本相对封闭的学术小圈子打开一扇门。 虽是“软”指标,一旦让人形成看法,却是决定性的,完全可以比影响因子之类的“硬”指标还要硬呐! 2. 据说现在以英文论文为重,中文论文不受待见。同等水准,英文论文可能天然高一等。其实,翻译,润色,现在都可以用钱搞定——如果说论文为了学术交流而生,这也无可厚非,毕竟读者想要了解的是思想和发现。若以论文评价作者的文字水准、外语水平,恐怕找错对象,谁能分清那是作者、润色公司还是编辑的功劳?李学宽老师最近提到一例( 从积极参加评审到慎重参加评审的转变 ):以一作身份发表了3篇影响因子5以上英文文章的博士候选人,中文博士论文每页错别字和语法错误超过10处。凭借高点数的论文,年轻人可以坐上博导直通车,但包括语言能力在内的各种能力是否准备充分?如何评判?导师给学生改文章是天经地义的分内事,如果自己的文章还要请人润色,如何尽职呢?若以博文判断文字能力,大概八九不离十。博客这玩意儿,代劳的可能性恐怕不高?每个人的语言风格相对稳定,能代一时,难代一世。时间久了,难免不露马脚。 3. 已有个别期刊改变传统的评审模式,先将投稿放网上,供人评论,评论即为评审。黄佶老师倡议先发后评,建立数字化学术发布和交流平台( 我心目中的数字化学术发布和交流平台 )。在这样模式下,或正面或负面的评论(以及推荐、阅读次数,等),将成为不可或缺的指标。 有那么两回,把文章贴到博客前,博主试着往纸媒投稿,杳无音信的感觉真是不爽啊。即使被纸媒接受发表了,看不到读者反映,感觉冷冰冰的。不像博文,马上有阅读次数的变化,有推荐、评论,即时、互动的感觉多好。如今,几岁的孩子发起微博来已是驾轻就熟,年轻一代,浸染于即时、互动的数字化环境,将来能忍受传统媒体的缓慢甚至傲慢么? 您觉得呢? (三) 借此机会,说说博主对翻译的态度。 在科学网博客 “tenure track”专题 ,六十来篇博文,绝大多数是“tenure”这个英文单词贯穿全篇,严肃的翻译似乎只有俞强老师一篇( Tenure 制(3)——还是叫“探良”制比较好 )。对照俞老师博文的解读,这译名音义俱佳,只是响应者寥寥。 字母词PM2.5是近期热点。全国科学技术名词审定委员会专门邀请环境、医学、气象等领域专家,讨论其中文名称,最后“细颗粒物”获得多数专家认可(此外,PM10译为“可吸入颗粒物”,PM1为“超细颗粒物”——似乎仍存争议?)( 蒋大和教授:为PM2.5定中文名为“细颗粒物”提供资料 )。有人认为小题大作。 这些年,感觉字母词有泛滥之势。是否因为懂外语的人多了,大家都不兴翻译了,甚至以中英文夹杂为时髦?在英文论文中,有个 约定俗成 的惯例,缩略词首次出现时应给出全称,除非使用极广、耳熟能详的。甚至有人建议,在每一页首次出现时都给出全称,以减轻读者负担。英文如此,中文使用字母缩略词更应慎重吧? 如今,文字不再是贵族专有的工具,博客(微博)的普及,使得人人都可能成为新词、新译的源头。不恰当的语言一旦在人群中流行开来,形成习惯,纠正则难。这有赖于每个使用汉语的人的文化自觉。这方面韩国人似乎做得比我们好。有一回,看韩国综艺节目,同时有中、韩文字幕的。特地留心对比,粗略统计,一个多小时的节目,中文字幕字母词出现不下10次,韩文字幕不过一二次。 靠名词审定委员会这样的政府机构,为一个词召集一群专家开一次碰头会,那么多外文新词不停涌现,是否吃得消?这讨论若放到网上进行,是否简单多了?博主有个提议:利用科学网博主的多学科优势,建立科网的“名词审定委员会”,为科技领域(也可以包括人文领域)的新名词进行翻译、纠错、传播。对于重要的新词,先由专业人士给出翻译,定期召集多学科专家博主讨论,择优选取,形成共识。对于社会上广泛流传的错译,及时批评,提出改正建议。 抛砖引玉。