其实科学计量学和自然科学研究中的动物行为学我看差不多。只不过前者研究对象是科学工作者这个人群，而动物行为学研究的是动物，比如小白鼠。 就用研究小河狸造水坝这个行为学研究打比方吧。（在此鸣谢 kexuegzz 的例子）如果观察者只是站在一边默默记录 小河狸 造水坝的过程， 小河狸 们大可以视若无睹，不用理睬旁边的观察者，不用搭理他们的议论和八卦，自己安心造坝子即可。 如果喜爱科学计量的学者，静静的旁边看我们做实验，其实也没有什么不可以对吧？ 如果观察者打算干预造坝子过程，比如按照怎么造可以给 小河狸 一块水果，那么 小河狸 也可以权衡，到底是待会自己去吃，还是换个样子造坝子换食物吃，都可以。 给出的指标如果能辅助我们的科学研究，有参考作用，也是好事。其实科学计量研究者也可以探索一下，在这些指标出现后，基础研究和实验科学界发生了什么变化。就是“干预”的结果。虽然把这么多人当做实验对象确实有点残忍，有种人体试验的不人道感，但是 “造指标” 或者“凑指标”的现象其实已经喧嚣尘上了，而且确实有研究的价值。 如果观察者把树干、泥巴和藤蔓都收起来，非得要 小河狸 按照他们的标准造。野生 小河狸 可能会咬人的，咬不过可能会换一个地方安家。 如果科学计量变成了硬性指标，已经严重干扰到我们的研究秩序，还是停下手头的活，研究一下科学计量学，找出他们的错误，在科学网上有理有据的写出来，对他们也是个约束。作为学者就是要 take a stand, 站出来保卫自己所珍视的东西：比如探索大自然奥秘，比如治病救人，比如教书上课。 如果可以的话，还是像真正的野生动物一样，悠然淡定的做自己的事情。这句话给我自己，也给做基础研究的朋友，其实也很真诚的给做科学计量学的朋友。不求但如人意，只求无愧我心。 后记：其实我一直弄混了在河边筑坝的beaver其实是河狸，而不是水獭。所以这篇文中的水獭筑坝其实是河狸筑坝。 因为是个寓言故事，而不是动物纪实，但是我依然修改原文的小水獭筑坝子为小河狸筑坝子。但是其实只有河狸（beaver）才筑坝。在此衷心感谢网友tom的指正。 tom 2015-7-17 23:12 另外，我不知道博主的网名是小水獭，看了上篇博主的博文，说水獭搜集树枝、泥土筑巢什么的，我觉得你可能混淆了水獭和河狸的区别，收集树枝筑巢筑坝的动物是河狸，它主要是以素食为主。水獭是以鱼虾蟹为食的肉食性动物，一般是挖洞居住。 以上都是凭记忆瞎说，有不对的地方见谅哈！ 博主回复(2015-7-17 23:18) ： Beavers are known for building dams, canals, and lodges (homes). They are the second-largest rodent in the world (after the capybara). 维基百科的。
上篇博文， 尊敬的领导：H-index太不靠谱，请别祸国殃民了 评论中读者 whatfor 很及时地提醒了一篇讨论文章，非常值得和大家一起分享。但是 whatfor 没有开通博克，于是我就把这篇文章匆忙中翻译成中文，英文全文在最后，请参照。 whatfor 2012-9-10 08:31 Stanford 教授的文章 “Assessing Academic Researchers” 看全文 http://onlinelibrary.wiley.com/doi/10.1002/anie.201201011/abstract 这篇文章的作者，斯坦福大学的Richard N. Zare，是我的同行，更是前辈。他当年的工作致力于 激光控制化学反应 ，虽然后来的研究证明，这是一个很难的题目，一时半会做不成，但是这必竟开辟了一个很有重大科学意义的研究方向，相信后来人经过努力，将来一定能实现，那个时候使用激光分子剪刀手术，相信可以很容易修改基因中的坏份子，由此治疗一些遗传性的疾病，至于治疗癌症，艾滋病等等，更是小菜一碟。科普 Zare的工作，相信科学网上大博主王鸿飞更有资格。 激光控制化学反应，其实是在李远哲的 交叉分子束化学反应之后 的又一重大进步。与之平行的工作，是加州理工Zewail教授的 飞秒化学 （1999年诺贝尔化学奖）。Zewail的工作是在时间尺度上让人类更深一步地认识到了化学反应的本质，由此也说明了Zare的激光控制化学反应一时半会做不成。 闲话少说，回到正体。该文章发表于 Angew. Chem. Int. Ed. 2012, 51, 7338 – 7339。由于是匆忙翻译，请以英文为主。 Assessing Academic Researchers ， 评价研究者的学术水平 Richard N. Zare， Department of Chemistry， Stanford University， 斯坦福大学化学系 In judging researchers early intheir career, the h-index seemsto be a poor measure 。 在评价处于 早期 职业生涯的研究者的学术水平方面，使用 h-index看起来是 一种 不靠谱的方法。 Not being highly cited does notmean that someone’s work will never have value 。 没有高引用率并不意味着某人的科学研究工作永远没有价值 最近到中国和印度旅行，有了很多机会和年轻的研究人员一起讨论怎样达到职业上的成功。他们中的很多人认为，通向成功的重要标准，是需要通过各种形式的 科学计量数据（ “scientometric” data ） 评估，比如 h-index 因子，发表论文的引用次数。 我认为这些 科学计量数据评估有他们的用处，但是， 我 个人很不喜欢对此的过分使用甚至滥用 。 这些让我感觉到，十分有必要分享一下斯坦福大学化学系对教授评定终身职务（tenure）所使用的一些尺度标准，因为我曾经做了六年的系主任。请不要误解，我不是鼓吹大家使用我们的方式和标准，这也只是眼下美国大学中的终身职务（tenure）制度而已，我觉得认真分析研究一下是肯定大有帮助的。我当然认识到我们现在的这种制度中的一些内在的深层次问题。同时我也知道，有些外国人对其他国家的文化和做事方式不感兴趣，甚至傲慢地歧视（意思是说，对作者讨论美国的tenure制度不感兴趣）。尽管如此，还是让我来说些建议和忠告。 在当前美国大学的终身制度中，我们先聘用研究者为助理教授，在之后的7年中再决定是否转成永久职务。这是比较难的事情，因为我们要综合评估这个人的学术质量，学术声誉， 并紧密结合本系的氛围。这些人总是通过工作刻苦得到永久职位，如果出现误判的后果是严重的，受到损害的不只是一个研究人员，而是整个系的层面的 损失。因此，重中之重放在如何判断一个研究人员的真正价值，这就需要格外注意评估过程的公平，透明，整个系里标准尺度的一致性。我们一贯致力于消除这些教员和系里老教授之间的友谊，个人喜好等因素对做出最终决定的影响。 在斯坦福化学系，我告诉这些新教员有三个标准用来评估晋升永久职位。新人要得到永久职位需要做到: 1. 成为系里的突出人物。我们的系很小，因此需要每位成员和大家一起协调工作达到共赢。 2. 成为好老师。是的，我们喜欢每位成员都是一位伟大的教师。但是，我们只要求所有立志成为好老师 的教授能真正做到这一点。对我们这样的教学和科研兼重的大学，教学是一项关键任务，并且，应该把学生教到最好。 3. 成为模范研究人员。这项成为关键要求是因为斯坦福大学是一所研究型的大学。但是，这很难评估，并且也是评估中的最大挑战。 我们怎样评判某个人是一位很有价值的研究人员？当然，是系里的每位永久人员投票选出，但是这个过程需要通过大学设立的多级考核。因此，对上面第三点的要求是，没有最好，只有更好。某位需要晋升的人员的真正价值不只是通过本系成员的判断，更重要的，还需要考虑10到15份系外专家的评审意见，这些专家或者是美国本土的，或者是国际上的。我要求这些专家从正方面的眼光来审查是否某位人员的科学研究改变了化学领域的主流观点。 我们不去审查某位人员给大学申请来了多少项目，多少钱。我们不去数发表论文的数目。我们更不根据作者排名位置来给论文排名一二三。我们不使用期刊杂志的影响因子来衡量高论文的质量高低。我们几乎没有用过 h-index因子去衡量一个人的论文。我们只是简单的问系里系外的评审专家，是不是这人确凿的改变了我们化学上的主流看法。 所有这些都和在国外（中国，印度）旅行中听到的明显大相径庭。看起来在如何评价一个研究人员的真正价值方面，有太多偏重于看待发表论文的数量，而不是研究工作本身的质量和原创性。就像智商并不能说明一个人的研究工作是具有多么的开创性和原创性， h-index因子也不是一个全面的衡量，粗略地看这里有大概的联系，但是用它来评估一个早期的研究人员，h-index是不靠谱。在衡量职业成功方面，h-index 看起来更象是一个盖棺定论性的指标，而不一个衡量领先科学研究的指标。 不可否认，从论文引用次数可以看出一份科研工作的知名度，以及该篇论文的影响。没有高引用率不是说某人的科研工作永远没有价值。很多例子说明引用次数并不能立即说明该篇论文是否有价值。我想举出一个实际例子说明，是化学领域外的一个专门例子，来说明这一点。 S. Weinberg 有一篇论文，发表于Phys. Rev. Lett. 1967, 19, 1264–1266，题目是：轻子的一个模型。这个期刊大家都知道。这篇论文中，Steven Weinberg （当时是麻省理工的一位访问教授）说，弱的核力和强的电磁力可以通过交换亚原子粒子方式被统一，尽管二者的强度有天壤之别。这篇论文成为粒子物理的标准模型的基石，因此Steven Weinberg分享了1979年的诺贝尔物理学奖。1967和1968年，没有引用，1969 和 1970 各引用了一次，1971年引用了4 次，其中还有一篇自引。现在，根据Web of Knowledge的数据，这篇论文引用了5224次。很容易找到其他更多的例子说明，引用次数的上升需要一个慢的引导期，因为这些新想法和实验测量都不是当时的主流观点。 其他大学或许使用不同的评估方法，比如研究课题组的大小，或者发表论文数量，这些很 简单，可以让不懂行的大学管理者很容易明白。然而，我相信我们的评估标准能真正有助于找到最好的教授。我也认为我们的这些尺度最接近那些各种科技奖的评选程序，并且也很接近美国各个科学院选举院士的程序。 我不想给你们一个印象说，我们的程序是完美的。我们也晋升了几个人，后来发现他们 不再积极致力于科研和教学。不管怎样，我认为这套晋升程序对我们来说是最好的。我们的尺度并不是想每个人都追随着做，但是，我充分相信，这些实实在在的帮助我们把研究工作做到真正的卓越和杰出。 英文全文： On a recent trip to China and India, Ihad the opportunity to discuss withmany young researchers at various universities about the expectations thatthey must meet in order to succeedprofessionally. Many of them thoughtthat the road to success was measured invarious forms of “scientometric” data,such as h-index factors and the numberof publication citations. I do think thatscientometric data have their uses, but Iam appalled at the overuses and abuses.These discussions encouraged me toshare the criteria for making tenure atStanford Universitys Chemistry Department, where I was the departmentchair for six years. I am not necessarilyadvocating that anyone adopt our ways,which reflect the current Americantenure system, but I do think that a careful study of our criteria might be helpful.I am aware of the problems embeddedin the American tenure system. I amalso very much mindful of the arroganceof foreigners when they are not sensitiveto another countrys culture and ways.Still, let me dare to offer some advice. In the American university system,under the current tenure setup, we hireresearchers as assistant professors andthen decide within seven years whetheror not we want them to permanentlystay in the department. It is alwaysa difficult decision, because facultymembers to whom we give tenure determine the quality, reputation, andatmosphere of our department. Beginning faculty members work hard toachieve tenure and the consequencesof misjudging the promise of a beginningfaculty member are severe, not only forthe faculty member but also for thedepartment. Consequently, much emphasis is placed on judging a researchersworth, and this task requires greatattention to be given to the evaluationprocess so that it is fair, transparent, andconsistent with the standards that thedepartment sets. Every effort is made toavoid decisions based on simply friendship or favoritism on the part of the most established members of the department. At Stanford Universitys ChemistryDepartment, I tell beginning facultymembers that there are three criteriafor achieving tenure. The new hires, inorder to achieve tenure, need to be: 1. Outstanding departmental citizens . Our department is small so we needeveryone to work cohesively together for the common good of ourgroup. 2. Good teachers . Yes, we would loveevery faculty member to be a greatteacher. But we only ask that allfaculty members become goodteachers because anyone who aspiresto achieve that status can do so.Teaching is a critical component ofour service to a teaching and research institution, and we owe it tostudents to take our instruction tothe highest level possible. 3. Exemplary researchers . This last criterion makes sense because StanfordUniversity is primarily a researchuniversity. But it is the most difficultto assess, and presents the greatestchallenge. How do we judge someones worth asa researcher? Of course, all tenuredfaculty members in the department havea vote on this, but the process goesthrough many other layers of universityinspection and consideration. For thisreason, it is important to define this lastcriterion as best as we can. The worthiness of a faculty member is not solelyjudged by the members of the department but more importantly, by thecontents of 10 to 15 letters of recommendation that we collect from expertsoutside the department, both nationallyand internationally. We ask these experts whether the candidates researchhas changed the communitys view ofchemistry in a positive way. We do not look into how much fundingthe candidate has brought to the university in the form of grants. We do notcount the number of published papers;we also do not rank publications according to authorship order. We do not usesome elaborate algorithm that weighspublications in journals according to theimpact factor of the journal. We seldomdiscuss h-index metrics, which aim tomeasure the impact of a researcherspublications. We simply ask outsideexperts, as well as our tenured facultymembers, whether a candidate has significantly changed how we understandchemistry. All of this is quite different from what Iheard during my recent trips abroad. Itseemed to me that in the assessment ofa researchers value, too much emphasisappeared to be placed on the number ofpublications churned out by a researcherinstead of the quality and originality of the work . Just as the IQ number doesnot capture the creativity and originalityof a persons work, the h-index is nota full measure. Some rough correlationsdo exist, but in judging researchers earlyin their career, the h-index seems to bea poor measure. It is more a trailing,rather than a leading, indicator of professional success. It can not be denied that having knowledge of the number of citations of somepublication has value and serves as a firstmeasure of how well known is the workand how much impact does this specificpublication have. Not being highly citeddoes not mean that someones work willnever have value. Examples exist wherethe citation numbers do not immediately indicate what value some work has. Iwant to bring to your attention one suchinstance, and purposely choose something outside of chemistry to make thispoint. Consider the publication S. Weinberg, Phys. Rev. Lett. 1967, 19, 1264–1266 entitled “A Model of Leptons”. Byno stretch of the imagination is PhysicalReview Letters considered an obscurejournal. In this paper, Steven Weinberg(who was a visiting professor at MIT)showed that the weak nuclear force andthe much stronger electromagnetic forcecould be unified through the interchange of subatomic particles in spiteof the huge difference in their strengths.This work laid the basis for what iscalled the Standard Model of particlephysics, for which Weinberg shared theNobel Prize in Physics in 1979. In 1967and 1968, there were no citations to thispublication, in 1969 and 1970, onecitation each, and in 1971, the citationnumber jumps to four, one of thecitations being a self-citation, that is,a reference by Weinberg to his earlierwork. At present, this article has beencited 5 224 times, according to theThomson Reuters Web of Knowledge.It is easy to find other cases where therehas been a slow induction period because some idea or measurement liesoutside of what is popularly accepted atthe time of publication. Other institutions may need to usedifferent measures, such as the size ofthe research group or the numbers ofpapers published, which are all simplerto explain to university administratorswho have little understanding of thefield. However, we believe our criteriatruly help to appoint the best facultymembers for our department at Stanford University. We also think ourcriteria closely reflect the proceduresby which various prizes are awarded inour field, and how individuals are elected to membership in the different science academies in our country. I do not want to leave you with theimpression that our procedures areperfect. We have inadvertently tenureda few people who later showed lessenthusiasm for research and teachingthan we had anticipated. Nevertheless, Ithink this procedure is the best methodfor us. Our criteria are not for everyoneto follow, but I do believe that they havehelped us achieve true excellence anddistinction in research.
http://www.sciencenet.cn/htmlnews/2008228145422610202330.html 论文引用率将成为英国高校科研经费分配新标准 新系统将主要依据科研成果引用程度，而非复杂的同行评审过程 英国高等教育资助委员会（HEFCE）去年出台了一项提案，到2009年时，将一套新的评估尺度系统全面应用于英国大学的科研经费资助上来，取代之前的科研评估系统RAE（Research Assessment Exercise）。 许多人知道，RAE大学排名是英国各机构院所研究实力的直接依据。实际上，已经运行多年的RAE系统，目的就是为了能按各学校的研究质量分割研究经费。为此，RAE负责评估英国高校和研究机构的科研质量。RAE把英国的研究分成69个分学科，各大学以系为单位上报进行同行评审，并按照1，2，3b，3a，4，5，5*七个等级打分。评估结果直接关系到各个大学的下拨经费，因为只有得分为3以上的机构才能获得资助。而得分越高，得到的经费也会越多。 而这套名为Research Excellence Framework的新系统将主要依据科研成果的引用程度，而非上述较复杂的同行评审过程，来在各个大学间分配每年10亿英镑的高校科研经费。英国高等教育资助委员会的这一举措，旨在提高科研经费分配的公平性和简化经费申请过程。 不过，英国的一些学术团体警告说，这项激进的改变将给年轻研究人员带来极大的不利。他们认为，新系统是对那些没有充足时间确立足够引用度的研究人员的一种歧视。Steve Smith是拥护和代表英国优秀高等学府的团体1994 Group的主席，他表示，显然，你不会想要这样的系统，让一个人在学术生涯的开端就开始受罚。这让我十分忧虑。 然而，2月份进行的一项商讨表明，英国学术团体并非完全反对新的标准，但他们的确有所顾虑。一些政策分析家对此次大规模的动作表示担忧新的尺度可能无法恰当地反映一些学科的特点和价值，而这些学科往往又是很花钱的新兴交叉研究领域。去年，英国高等教育资助委员会自身的核账委员会就曾警告说，如果新系统要有公信度，许多技术领域需要进一步的考虑。 英国高等教育政策研究所的主任Bahram Bekhradnia说，RAE毫无疑问存在着缺陷，我们通过不断对其进行修正来解决这些问题。但它可能会比任何将要出现的新系统更好。 然而，英国高等教育资助委员会正在对商讨的回应结果进行分析，为新系统进行辩护。在其看来，英国大学对这一提案还是广泛支持的。（科学网 任霄鹏/编译） 更多阅读（英文） Research Excellence Framework背景资料 http://www.hefce.ac.uk/research/ref/ Research Excellence Framework The Research Excellence Framework (REF) is the new system for assessing the quality of research in UK higher education institutions (HEIs). In previous years, research quality has been assessed periodically through the Research Assessment Exercise (RAE). We are currently consulting on proposals for the new framework. We will issue guidance on the REF in 2010 after completing the consultation. The first REF exercise is due to be completed in 2013. We are working in collaboration with the Scottish Funding Council, the Higher Education Funding Council for Wales, the Department for Employment and Learning (Northern Ireland), and with a wide range of stakeholders to develop the new framework. Representatives of the four funding councils sit on a steering group which oversees its development. Assessing research quality The REF will focus on three elements, which together reflect the key characteristics of research excellence. These are: Outputs The primary focus of the REF will be to identify excellent research of all kinds. This will be assessed through a process of expert review, informed by citation information in subjects where robust data are available (for example, in medicine and science). Impact Significant additional recognition will be given where researchers build on excellent research to deliver demonstrable benefits to the economy, society, public policy, culture and quality of life. Impacts will be assessed through a case-study approach that will be tested in a pilot exercise. Environment The REF will take account of the quality of the research environment in supporting a continuing flow of excellent research and its effective dissemination and application. http://www.hefce.ac.uk/research/ref/Biblio/
标签: 科研评估
