设为首页收藏本站
开启辅助访问 切换到宽版

科学网

 找回密码
  注册
科学网 › 标签 › 论文评价

tag 标签: 论文评价

相关帖子

 版块 作者 回复/查看 最后发表

没有相关内容

相关日志

论文减负 --- 如何鼓励原创性研究
热度 16 heruspex 2019-1-7 08:02
最近，中国科学院院士、清华大学原副校长施一公在全国政协十三届一次会议上说道“我以前曾经预测，中国会在 2020 年论文数超过美国，没想到我们提前完成了”。 确实， 从论文发表数量来看，我国已经跃居世界第二、仅次于欧盟的位置 ，如图 1 。在国际顶尖期刊上发表论文数也已经居世界第四位 。 图 1 ： 中国论文数量比较 （网图） 这说明我国在科研整体实力上有了明显的提升，主要原因是目前在科研一线的中青年老师，在科研能力、论文写作能力、指导学生的能力等多方面都有了质的飞跃。而且，搜索国际前沿论文的途径也较以往有了非常大的便捷。另外，在计算机领域，由于代码共享方式的盛行，也让学科间、学校间在切入研究方向上差异变小、事半功倍。这使得我国的科研队伍能在快速地了解国内外动向的同时，也能迅速实现复制、比较和改进。 但我们在原创性这块还存在比较大的差距，创新力仍有待改善。以人工智能领域为例，近年来主流技术以深度学习为主。尽管在论文发表总量上，我国毫不输于其它国家。但是，在深度学习必需的硬件环境上，我们仍严重依赖于目前还无法国产化的 GPU 显卡；在软件平台上，依赖于 PyTorch 、 Tensorflow 等国外软件；在深度学习的核心算法上，国内提出的关键算法相对较少，多是在国外团队设计的相关算法上的小修小改。 抛开学科、领域的差异，“原创能力弱”的原因很多。基础教育中过分重视分数、填鸭式教育强度过大，导致学生对科研的热情被提前燃尽，后继乏力是一个原因。这需要花时间找到更合理又不失公平的基础教育“减负”平衡点才行，需要“长治”。 国内对科研考核评估的指标制定也是重要原因之一。从总体来看，近年来国内对硕士、博士研究生毕业、教师职称晋升在论文上的指标要求相对十年前是高了不少。这也很正常，毕竟我们科研水平整体提长了，十五年前在国内权威期刊发篇论文就能评上教授，现在在 SCI 一区期刊上发个三五篇在复旦大学这样的学校晋升的机会也不见得大。 但是，这种考核制度是否有利于原创性高的研究呢？ 一、限时考核 对于研究生来说，这种考核从某种意义来看，是限时的，即必须在学业完成前获得达标的论文数量才行。不仅如此，多数学校在研究生评奖学金时，会按论文的档次和数量来评分；老师在晋升职称时，也是如此；各种人才的评选、奖项的评选都看。因此，研究生可能在入学后，就会有个小算盘计算如何能尽早完成这个限时指标。结果，就会优先选择那些不需要花太多时间、不用太依赖于扎实的基础理论、容易快速出成果的研究方向。虽然这并没什么不好，因为现在很多企业是看研究生的论文数量来定年薪的。 但如果博士生的人生目标想以科学研究为主，希望形成原创性高的科研成果，那么就应该在博士期间多花时间打好理论基础、完善论文写作水平、选题时谨慎考虑好可持续性。理论基础可以保证在未来研究方向产生大的变化时，不容易被抛弃，也是形成原创性成果的必要条件之一；论文写作水平可以提升其指导学生的能力；而谨慎选题需要一定时间的探索，持续性则应该能保证其在毕业后三至五年内，在其研究方向上产生有影响力的工作，并能得到学术圈同行的广泛认可。这三项都需要花时间，并非短时就能见效。但一旦以限时指标来考核，三者都很可能被舍弃。结果，在这种环境下，原创性高的成果就很容易被扼杀在摇篮里了。 二、不鼓励原创的论文发表和评审机制 那么，追求发表高档次论文就不利于原创性成果吗？当然不是，它是重要途径之一。但从当前国内外研究的发展趋势来看，这一途径正在变窄，影响力也在逐渐减弱。 再以人工智能及相关领域为例，计算机视觉顶级会议 CVPR2018(IEEE Conference on Computer Vision and Pattern Recognition) 接收论文数量超过 1500 篇，而人工智能顶级会议 AAAI(American Association of Artificial Intelligence) 2019 接收论文数量超过 1000 篇。据报道，现阶段每 20 分钟就产出一篇机器学习方向的论文。试想下，如果想了解这些会议的全貌，单纯读个论文目录都可能得花大半天时间，哪还有多少读者真心愿意再仔细去读论文呢？后果就是，这些会议中的很大一部分会议除了作者本人读过外，有可能就 3 个评审仔细读过了。这导致原创性的研究成果变得不太那么容易被传播，并形成影响力。 另外，发表任何一篇论文都是需要时间的。论文中的方法提出和改进、实验和比较、写作和逻辑，再加上评审评阅论文时主观性带来的偶然性，就有可能导致好的论文容易被拒。尤其在现今相对规范的科研环境下，原创性高的研究事实上更容易被拒绝而非接受。还是以人工智能领域为例，如果一项原创性非常高的工作投某个相关领域的会议，评审通常会希望至少看到两个要点： 1 ）完整的综述。但如果这项工作本身是个新的切入点，很可能做个完整的综述就比较困难。这极容易让评审抓住辫子，说其对相关领域近三年工作不了解而拒稿。 2 ）全面的实验比较。这一点对于原创性的工作也是同样痛苦。因为作者可能是从某种实际应用中，根据发现的新问题提出的方案，但不一定能在现有的研究方法中找到对应的已有成果来进行比较。此时，评审会很自然地以没有看到充分比较，缺乏可信度而拒稿。相比较而言，反而那些原创性低、可能只是一两个小改进，但实验充分且综述完整、论文写作规范的研究，更容易引起评审的好感而被接收。所以，当前的论文发表和评审模式从某种意义上来说，是不利于原创性成果的发表的。 三、重视新时代的传播模式 我们不妨审视下国内外近四十年科研走过的道路。早些年，互联网没流行时，国内外均是通过纸质期刊来了解研究动向，而国内能购买期刊的学校非常之少，这个阶段我国处于资料缺乏阶段，也不太清楚国际前沿的状态。而国外通过会议进行的交流则比国内相对便利不少。绝大多数国内科研工作者处在无从下手的时期。随着互联网的出现，学术论文的购买，国内的实力开始缓步前进。过了二十世纪，进入二十一世纪了，随着海外人才的引进、中青年老师的水平的逐年提高，国内在论文发表方面已经完全摸清了门道。比如模式识别领域曾经极难发表论文的 IEEE Transactions on Pattern Analysis and Machine Intelligence ，现在国内学者一年发七八篇也并不罕见了。 然而，这种“摸清”并没有对原创性工作产生太明显的改善，更多的是数量的快速提升。这也是国内现在在提倡清理“四唯”的原因之一。 要改变这一局面，我想可以考虑以下四点： 1 ）不宜采用或降低限时考核论文的标准。因为它压缩了科研工作者能形成原创性成果所需的时间。比如博士生毕业指标上，是否可以像中科院数学所一样，只考查学生的毕业论文呢？其它论文发表情况仅作为参考、而非必要条件呢？当然论文的减负，只对学生减负是不可行的。因为这个压力会向后送，到导师、到学院、学校。所以，需要全方面的减负才有可能。 2 ）不宜限定发表论文的档次，鼓励科研工作者多利用网络媒体来传播成果，形成影响力。我们得看到， 纸质媒体正在快速地让位于网络媒体已是不争的事实，最近不少纸质媒体杂志的关停和自媒体的兴起便是佐证。国内在互联网、手机支付方面也全面超过了美国。在网络如此发达的前提下， 再强调 SCI 、 ESI 这类靠“统计”数量的传统指标来衡量论文水平和影响力并非完全与时俱进，也不那么“前沿”。更何况这些指标能涵盖的范围本来就有限，对网络的传播更是丝毫未曾考虑。同时，对于科研工作者来说，传统的期刊发表方式是否仍有必要成为唯一途径也值得商榷。在公开的、有知名度的网络文献数据库或 科学网 上发表成果，是否可以算数或提倡？如果算，我们怎么评估它的影响力和原创性？ 3 ）以国内现在在国际上的论文发表情况来看，我们似乎可以不再过多依赖于某些不利于国人的科研尤其是原创性科研的评价标准。不妨另起炉灶，自建一套更符合现今时代的科研评估体系，以保证有更多原创性的成果的产生。 4 ） 规范国内期刊和在线文献数据库或科学网的论文评审流程，比如公开评审意见、在评价时对国内部分期刊给予更高的权值，并在各级学校进行适当的投稿鼓励和支持。另外，既然我国的论文发表数量排名这么高，那至少也说明国内高水平评审人员的数量也不低。只要让他们能对中文论文的评审像国际标准看齐，论文的质量也会上升。这样，会有助于那些原创能力强、但英语写作能力偏弱的国内科研人员有更多的“发声”机会，也有助于提升国内科研论文相关的刊物和网络媒体的总体水平。 5 ）如果担心水军影响公信力，我相信现有的技术手段是完全可以解决这一问题的，比如某歌星的打榜不也被 itune 发现而从榜单消失了吗？在科研方面，我们不妨把水军的打榜和过度评价视为一种学术不端，以此来提升网络评价的质量。 总之，如果希望提高国内的原创力水平，论文减负首当其冲！假以时日，原创性的成果就会越来越多。 参考文献 1. 有一种科研叫“中国式科研”！链接： https://c.m.163.com/news/a/E4CBO50P0511DV4H.html?spss=newsappfrom=timelineisappinstalled=0spssid=91f1dfe54ad4b65e3f30feba124b21e0spsw =1 2. 佘惠敏 . 我国在国际顶尖期刊上发表论文数位居世界第四位，经济日报， 2018 年 11 月 1 日 张军平 2019 年 1 月 7 日 延伸阅读： 1. 慢养的诺奖：自由而无用 2 . 中学生科研之愚见 3. 中学生科学素养之愚见 4. 中学生科学实验之愚见 --- 失落的失败 5. 无解的中国教育 张军平，复旦大学计算机科学技术学院，教授、博士生导师，中国自动化学会混合智能专委会副主任。主要研究方向包括人工智能、机器学习、图像处理、生物认证及智能交通。至今发表论文近100篇，其中IEEE Transactions系列18篇，包括IEEE TPAMI, TNNLS, ToC, TITS, TAC等。学术谷歌引用2800余次，ESI高被引一篇，H指数28.
18150 次阅读|36 个评论
终结影响因子暴政：权威刊物堆塑的泥足巨人
热度 1 杨学祥 2017-4-29 14:44
终结影响因子暴政：权威刊物堆塑的泥足巨人 杨学祥 5 年前，美国细胞生物学会等 70 多个组织的 150 余位科学家签署了一份宣言，以反抗影响因子暴政。这份简称 DORA 的《旧金山科研评估宣言》中心思想是：“评估科研要基于研究本身的价值而不是发表该研究的期刊”，建议科研资助机构、研究机构等有关各方在资助、任命和晋升的考量中，停止使用基于期刊的单一指标，尤其是期刊影响因子来评估科学家的贡献。 5 年后， 4 月 27 日 ，《自然》暨自然科研总编辑菲利普·坎贝尔爵士代表自然科研旗下期刊签署了 DORA ，倡导科研评估不要再过度依赖基于期刊的指标。 我在 8 年前博文《权威刊物堆塑的泥足巨人》指出，事实上，检验真理的唯一标准是实践，影响因子和著名刊物仅仅具有即时的参考意义。放弃实践的检验标准，把影响因子和著名刊物当作检验论文科学性的实际尺度，这是源流倒置和舍本逐末，完全违背辩证唯物主义的认识论和实践论。哥白尼的太阳中心说、孟德尔的遗传定律和魏格纳的大陆漂移说之所以成功，不在于影响因子和著名刊物，而在于经得起长期实践的检验。 政治有利益、经济有商战，科学不仅有光环，也有深远的政治、经济和国家的重大利益，包括生死有关的军事机密。花费巨量的科研经费，换取国外名刊撤稿的苦果，值得有关部门研究和反省。 相关报道 终结影响因子“暴政”，是时候了 2017 年 04 月 28 日 01:29 科技日报 新闻爆料 :finance@china.org.cn 电话 :(010)82081166 本报记者 罗 晖 　　“这是一场起义。我们不愿意再受它的支配。” 5 年前，美国细胞生物学会等 70 多个组织的 150 余位科学家签署了一份宣言，以反抗影响因子暴政。这份简称 DORA 的《旧金山科研评估宣言》中心思想是：“评估科研要基于研究本身的价值而不是发表该研究的期刊”，建议科研资助机构、研究机构等有关各方在资助、任命和晋升的考量中，停止使用基于期刊的单一指标，尤其是期刊影响因子来评估科学家的贡献。 　　 5 年后， 4 月 27 日 ，《自然》暨自然科研总编辑菲利普·坎贝尔爵士代表自然科研旗下期刊签署了 DORA ，倡导科研评估不要再过度依赖基于期刊的指标。 　　“《自然》及其子刊长期以来发表了多篇社论，强调传统期刊影响因子的局限性，呼吁改用更加全面的科研评估模式。” 坎贝尔说。 　　影响因子究竟是个什么鬼？当真如此“罪大恶极”？ 　　根据 DORA ，开发于 20 世纪 50 年代的期刊影响因子指标“创立之初本是用来帮助图书馆员判断采购哪些期刊的工具，而不是用来衡量论文科学质量的。”其计算方法是某期刊前两年发表的论文在该报告年份中被引用总次数除以该期刊在这两年内发表的论文总数。一般来说，影响因子越大，期刊的学术影响力也越大。但这一机制很容易使得那些时髦的而非真正高水平的研究“脱颖而出”。《科学》杂志曾撰写社论，认为影响因子最重要的危害是可能妨碍创新，它引导科学家专注于发表高影响因子的文章，追逐所谓的“热点”，而不是潜心科研创新。 　　坎贝尔 27 日在接受科技日报记者独家采访时表示，理解和回应科研人员的需求，与科研共同体合作，推动科研评估政策和标准制定是自然科研的核心使命，也是他们签署 DORA 的重要原因。 　　他认为，期刊的影响因子不一定能代表和反映发表在这一期刊上的每一篇论文的重要性，况且还仅仅是以两年为周期加以衡量，许多重要的科研发现的影响力都是在论文发表后数年之后才显现出来。同时，引用量不高的研究也可能是质量很高的。 　　然而，坎贝尔介绍，自然科研 2016 年下半年对 2500 名作者开展了一项调查显示，虽然反对过度依赖影响因子作为单篇论文质量指标的呼声日益高涨，但影响因子仍是科研人员决定向何处投稿的主要考量因素。 　　“减少对影响因子这种评估指标的依赖对于研究机构和科研资助机构来说，的确是一项挑战。尽管如此，我们希望能推动整个科研共同体加大努力，开发出评估科研人员及其贡献的更好机制。”坎贝尔说。 　　据悉，自然科研新增加了同行评议指标，包括从论文提交到接收、从接收到发表的时间等，还提供使用指南，以帮助研究人员进行决策。 　　自然科研旗下签署 DORA 的期刊包括《自然》、所有冠名“自然”的研究期刊、所有冠名“自然”的综述期刊、《自然 - 通讯》、自然合作期刊、《科学数据》和《科学报告》。 ( 责任编辑：罗伯特 ). http://finance.china.com.cn/roll/20170428/4193139.shtml 权威刊物堆塑的泥足巨人 已有 2742 次阅读 2009-8-2505:06 http://blog.sciencenet.cn/blog-2277-251245.html 权威刊物堆塑的泥足巨人 杨学祥 中国日报网环球在线消息：据美国媒体报道， 8 月 24 日 韩国首尔中央区法院对黄禹锡一案举行听证会，鉴于包括诈骗在内等罪名，韩国检察官提出对造假科学家黄禹锡判处 4 年监禁刑罚。 2004 年和 2005 年，黄禹锡领导的研究团队先后在《科学》杂志上发表论文，宣布克隆成功人类胚胎干细胞和患者匹配型干细胞。但后来黄禹锡被曝学术造假，首尔大学宣布解除黄禹锡的教授职务，韩国政府也取消授予他的“最高科学家”称号 。 韩国首尔大学调查委员会 2006 年 1 月 10 日 公布的最终调查结果显示，黄禹锡研究小组 2004 年发表在美国《科学》杂志上的干细胞研究成果与其 2005 年发表的论文一样属于造假，黄禹锡所“独创的核心技术”无法得到认证 。令人遗憾的是，揭露论文造假的不是后续的检验研究，而是新闻媒体 。科学研究止于权威刊物，权威刊物堆塑科学的泥足巨人令人震惊。 权威刊物的权威面临挑战 造假数据为什么竟通过了权威刊物的专家评审？这在某种程度上取决于编辑的主观意向：选择对立观点的评审人意味着否决，选择观点一致的评审人意味着通过。黄禹锡事件的回放过程表明，权威刊物为了维护自身的权威，对评审失误保持沉默，而黄禹锡借助权威刊物一步登上科学神坛。 闾丘露薇指出，大部分人都希望在最短的时间里面能够有成果，能够做出一点点事情。因为这样的心理，有的时候就会有选择性，缺乏严谨的科学态度，可能是故意的，也可能是潜意识的。美国的一项调查就显示，一半以上的被访的科学家表示，如果有的数据和自己的结论相左的时候，会选择对那些数据视而不见 。 但是，在任何情况下科学家的观点都不会完全一致，正如在全球变暖的大潮下依然有不同的声音，科学的发展正是取决于不同观点的公平竞争。如果权威刊物不是在科学竞争中保持公平与中立，而是利用刊物的影响鼓吹偏袒某一观点，压制对立观点，刻意堆塑科学的泥足巨人，科学的悲剧就会由此而成。论文发表仅仅是科学研究的开始，实践才是检验真理的唯一标准。 北京编辑张田勘指出，论文发表后应当有其他研究来证实成果可重复，即验证论文的结果，这也是保证科学结论可靠和客观的重要措施。如果给以时间，一切造假都会被揭穿，科学永远不会容忍造假。科学是社会发展的主要推动力量，其本质在于科学只用事实和客观成果说话，并总是剔除那些经不起实践检验的内容 。 科技创新并不是一开始就赢得多数 首先发表那些创世之作的刊物未必就是影响因子高的著名刊物，因为著名刊物总被当时旧学说的科技权威所控制，新的学说很难冲破阻力得到承认。事实上，许多创新的惊世之作，不仅没有在著名刊物上发表，而且长期遭到当时名人的压制与批判。魏格纳的《海陆的起源》，哥白尼的日心说，孟德尔的遗传学说等等，莫不如此。 孟德尔是奥地利科学家，现代遗传学的奠基人。 1856 ～ 1863 年孟德尔用豌豆进行杂交试验，总结出两条遗传规律即分离规律和自由组合规律。这一科学成果孟德尔曾在布隆自然科学协会 1865 年 2 月 8 日 和 3 月 8 日 的两次会议上报告过，并于 1866 年以《植物杂交的试验》为题发表在该会会刊的第 4 卷上，但当时并未引起注意。孟德尔的思维和实验太超前了。尽管与会者绝大多数是布隆自然科学协会的会员，其中既有化学家、地质学家和物理学家，也有生物学专业的植物学家、藻类学家。对于孟德尔的发现，当时的名人权威不能理解，一直被埋没了 35 年之久。直到孟德尔逝世 16 年后，豌豆实验论文正式出版后 34 年，他从事豌豆试验后 43 年，他的预言才变成现实。 1900 年，荷兰的德弗里斯、德国的科伦斯和奥地利的切尔马克分别通过各自的研究得出与孟德尔相似的结论后，才在文献中找到孟德尔的早已被人遗忘的论文，孟德尔的发现才被世人承认，称为孟德尔定律。如果仅仅看文章的出身，而不看文章的内容，孟德尔定律就不复存在。 魏格纳是德国气象学家、地球物理学家。 1910 年阿尔弗雷德·魏格纳在偶然翻阅世界地图时，发现一个奇特现象：大西洋的两岸——欧洲和非洲的西海岸遥对北南美洲的东海岸，轮廓非常相似。魏格纳认为这绝非偶然的巧合，于是就形成了一个大胆的假设：推断在距今 3 亿年前，地球上所有的大陆和岛屿都连结在一块，构成一个庞大的原始大陆，叫做泛大陆。 1912 年 1 月 6 日 ，魏格纳在法兰克福地质学会上做了题为“大陆与海洋的起源”的演讲，提出了大陆漂移的假说。 1915 年他出版了《海陆的起源》一书，系统地阐述了大陆漂移说。但由于当时科学发展水平的限制，大陆漂移由于缺乏合理的动力学机制遭到正统学者的非议和压制。直到 20 世纪 80 年代，魏格纳去世 30 年后，海底构造研究证实了海底扩张的预言，板块构造学说才席卷全球，人们终于承认了大陆漂移学说的正确性。 尼古拉．哥白尼，是波兰天文学家。他在 1533 年完成了《天体运行论》这部巨著的初稿。 1542 年 6 月，《天体运行论》和排印工作开始进行，负责这本书出版事宜的奥西安德尔却按自己的意愿写了一篇没有署名的序言，说明书中的学说只是为了计算星历表之便而采用的假设，不一定和实际情况相符。这也是在《天体运行论》出版后几十年时期内很少人重视哥白尼理论的一个重要原因。由于哥白尼的学说触犯了基督教的教义，遭到了教会的反对。他的著作更是被列为禁书。布鲁诺因宣传日心说而被教会处以火刑，伽利略因赞成日心说而被教会监禁，但真理是封锁不住的。 1882 年，罗马教皇不得不承认哥白尼的学说是正确的。这一光辉学说经过三个世纪的艰苦斗争，终于获得成功并为社会所承认。 由此可见，一种创新理论在其初期阶段常常被当作错误观点而被否定，后期阶段则被当作信条而被盲目的崇拜。把流行趋势当作科学评价的标准，用刊物的影响力来评价文章的水平，这本身就是对科学的亵渎与歪曲。孟德尔定律被埋没了 35 年，魏格纳的大陆漂移学说被压制了 60 多年，哥白尼的日心说被封锁了三个世纪，原因就在于当时科学界的低水准，就在于“按图索骥”的假伯乐：大多数人期望的理想模式与真理相差十万八千里。 科学创新首先从少数先知先觉者中开始，不可能立刻就得到多数人的承认。少数服从多数的原则不适于科学，甚至会扼杀科学。祈求用一种简单的连小学生都会操作的计算模式来来挖掘科学的创新精神，无异于“按图索骥”。好汉识英雄，伯乐识千里马。科学的进步，社会的发展，归根结底取决于科学界有一种慧眼识英雄的机制，有一种自由争论的公平环境：小人物可以挑战大人物，小刊物可以挑战大刊物。如果文章也讲出身，如果大刊物可以封杀一切，科学的公平何在？ 权威刊物与小刊物相辅相成 世无伯乐遂使驽马成名 。用刊物的权威性来评价文章的科学价值，这是外行评价内行的一种懒人的办法。中国的典故“按图索骥”是对这种办法最形象的批评。在跟风趋利的科学界，按图索骥已经国际化。科学的创新精神被淹没在滚滚黄金的趋利浪潮之中。刊物的权威性是由刊物的影响因子来评价的。美国生理学会执行主编马丁·弗兰克说的好，“我们都成了影响因子的奴隶。” 刊物本来是科学论文的载体，它是为科学的传播服务的。现在，科学的奴仆变身为主人，人们不是追求科学论文中的科学精神，而是祈求著名科学刊物的权威和灵光。即使是一篇平庸的文章，一旦被著名刊物录用，立刻就身价百倍，奖金和项目就会滚滚而来。著名刊物成为文章价值的评价尺度，按照这种尺度，哥白尼的日心说、孟德尔的遗传学定律和魏格纳的大陆漂移说就会永远被人遗忘，它们在长达数十年的岁月中默默无闻，而著名刊物仍在高谈阔论科学精神。正如英国胡弗汉普顿大学生物统计学教授阿兰·内维尔（ AlanNevill ）所说，“这是个严重的问题，学术界已经被这些引用数字勒索绑架 。” 科学的第一原则是公平，如果文章由于自己的出身不同（刊物本身影响力的不同）而受到不同的待遇，这不仅说明当前科学评论界的低下水平，而且会导致文章作者为在著名刊物上发表文章而不得不阉割文章的创新灵魂。有些科技论文的作者为了引起刊物编辑和评审人的关注，放弃小刊物上的原文作者的论文引用，转而引用著名刊物上的第二手资料，使科学的首次发现权受到损害。事实上，大刊物和小刊物、洋刊物和土刊物的版权都应该受到保护和尊重。大刊物和洋刊物决不能因为自己的影响因子优势而否决小刊物和土刊物的首发版权，否则，这将使抄袭和垄断成为合法之举。否认小刊物创新文章的学术水平，只能说明相关学术评价机构缺乏专业水准，他们只认得论文的出身证书，不会鉴别论文的科学性。按图索骥已经成为国际化的流行趋势，科研管理机构和刊物编辑评价机构的行政霸权已经开始压制科学的创新，蚕食科学家的灵魂，用科学常识垄断科学界。 滕吉文院士指出，在某种程度上的崇洋媚外是客观存在的，即一愿意向外国投稿，二愿引外国人的文章，就是有同类的中国人的文章，哪怕其资料与论述还较外国人全面一些也无人问津，似乎引外国人的文章表明水平“高”，引中国人文章则表明水平“低”。这种现象已决非个别或少数，而是占有了相当比例。这在学术上也反映了少数人的民族气节与学术品德。外刊发一稿，刮目相看。跟着来的是又给项目，又给“官”做 。外刊似乎变成了检验真理的唯一标准。看来，中国人比外国人更迷信影响因子和外国著名刊物。名牌刊物《美国医学学会会刊》（ JournaloftheAmericanMedicalAssociation ）的编辑迪安吉利斯（ CatherineD.DeAngelis ）叹息许多科学家认为如果自己的文章不能在顶尖刊物上发表就是失败的现象。他批评现在的文化，说“影响因子已经异化，有些影响因子低于名牌刊物的刊物非常好，完全适合好的科学家在上面发表文章。”外国人的观念开始转变，有些中国人的观念为什么还继续停留在外国人的“初期阶段”？ 事实上，检验真理的唯一标准是实践，影响因子和著名刊物仅仅具有即时的参考意义。放弃实践的检验标准，把影响因子和著名刊物当作检验论文科学性的实际尺度，这是源流倒置和舍本逐末，完全违背辩证唯物主义的认识论和实践论。哥白尼的太阳中心说、孟德尔的遗传定律和魏格纳的大陆漂移说之所以成功，不在于影响因子和著名刊物，而在于经得起长期实践的检验。 真正的科学家不会为了影响因子和著名刊物而放弃自己独立的科学观点，只要理论是首创的和真实的，何必要为影响因子和著名刊物发愁？科技期刊和科技行政管理机构应该是科学家的后勤部而不是司令部，让科学家真正成为科学首创的主人。 现在的问题是，一些国家的科技界、科技管理机构和政府相关部门把权威刊物当成评价论文科学性的唯一标准，文章一旦发表，就盲目庆功表态，给与特殊荣誉、地位、奖金、项目和权利，其结果不仅使国家和民族蒙羞，而且浪费了大量国家资源，引发科研的信任危机。迷信权威刊物，忽视实践检验，导致灾难性的严重后果值得警惕。 权威刊物堆塑的泥足巨人倒塌了，迷信权威刊物的思潮依然盛行在中国的科技界。如果我们坚持实践是检验真理的唯一标准，科技界的种种丑恶现象就不会发生 。 　 参考文献 1． 于盟。韩国造假科学家黄禹锡被判 4 年监禁。 2009 年 08 月 24 日 16:10 中国日报网站。 http://news.sina.com.cn/w/2009-08-24/161016176100s.shtml 2． 张利。韩国调查认为黄禹锡的干细胞研究成果全属造假。 2006 年 01 月 10 日 13:14 新华网 http://tech.sina.com.cn/d/2006-01-10/1314815773.shtml 3． 闾丘露薇。科学骗局的代价。 2006 年 01 月 06 日 09:08 东方早报 http://tech.sina.com.cn/d/2006-01-06/0908812556.shtml 4． 张田勘。新京报：黄禹锡事件产生的四大挑战。 2006 年 01 月 03 日 03:13 新京报 http://news.sina.com.cn/o/2006-01-03/03137880498s.shtml 5． 理查德·莫纳斯特里（吴万伟译）。吞噬科学的数字。光明观察刊发时间： 2005-10-27http://guancha.gmw.cn http://guancha.gmw.cn/show.aspx?id=4827 6． 滕吉文。向科技强国迈进中的地球物理学基础研究和创新理念。见：张中杰，高锐，吕庆田 ，等 主编。中国大陆地球深部结构与动力学研究——庆贺滕吉文院士从事地球物理研究 50 周年。北京：科学出版社， 2004 。 1-25 。 7． 杨学祥。按图索骥的国际化：科学的奴仆变成了主人。2005-10-29上海环境热线.绿色论坛. http://www.envir.gov.cn/forum/20056808.htm
个人分类: 科技点评|2800 次阅读|4 个评论
双语出版——以一个语种出版 另一个语种文本作为支持文件 可以吗
热度 1 sunyu367 2013-4-18 09:11
双语出版——以一个语种出版 另一个语种文本作为支持文件 可以吗 拜读翟自洋老师的博文《关于双语出版，一位期刊编辑的看法 》 http://blog.sciencenet.cn/blog-630081-681013.html 提出一个初步设想：以一个语种出版，另一个语种文本作为支持文件。下面分析一下这样做的好处、潜在问题及对策： 好处： 1.有利于学术成果的传播和交流，尤其对母语非英语的作者而言，学术交流会范围会变得更广泛，既可以摘自世界范围内展示成果，也不妨碍具有共同母语的同行更方便的了解相关的工作，而且对母语国家也有贡献。 2.消除因母语英语分别发表引发的“一稿两投”争议。其实，作者的初衷是很善良的，无非是希望广泛交流。 潜在问题及对策： 1.知识产权和付费下载问题。目前在网络平台上出版的论文，出版文本通常是付费的，而支持文件通常是不付费的，假设中文母语作者以英文发表了论文，并提供了中文翻译文本作为支持文件，那么能看懂作者母语的读者就可以免费阅读，出版商可能不满意，甚至引发知识产权争议。可以将母语译本设置为付费版本，引用文献时约定采用出版版本。而中文期刊，则可以以中文出版，提供英文译本作为支持文件的一部分（ 许多中文期刊的网络出版平台似乎无支持文件设置，建议升级 ）。 2.增加了作者的工作量，且实际发文篇数减半。在以论文篇数为指标之一的评价体系中，可以鼓励性的计量发文篇数为1.5篇（也可以是其它大于1的系数）。 3.对出版平台造成负担。可以充分发挥现代数字化出版平台的技术优势，促进出版平台升级（这对出版社是有好处的）。 以上想法于我而言由来已久，但不是很成熟。这里以翟自洋老师的博文为契机，把它提出来，以资交流。或许很多朋友也有类似想法（ 我没有去搜索相关信息 ），那么，请一起促进它成为一个可行的方案吧。
2936 次阅读|6 个评论
基于文献利用数据的期刊论文定量评价研究
热度 7 Wuyishan 2012-9-2 06:40
（博主按：下面的版本在文字上与发表版本有微小差异，内容是一样的。） 基于文献利用数据的期刊论文定量评价研究 * 何星星 武夷山 （中国科学技术信息研究所，北京， 100038 ） （发表于《情报杂志》 2012 年第 8 期） 摘要 传统期刊论文评价工作关注的是论文内部特征和引用情况，本文从新的视角提出以文献的利用数据（包括网页点击量、浏览量、下载量），及调整指标 ( 点击下载率、下载引用率 ) ，综合评价一篇文章的表现力，并利用《 PLoS Biology 》与 F1000 系统数据做了实证分析，证明了上述指标的可行性，其表现也优于被引这一单一指标。 关键词 科技论文评价；文献使用指标；被引频次；下载量；点击量 中图分类号 G35 文献标识码 A A Quantitative Methodfor Assessing Single Publications Based on Paper Usage Data He Xingxing Wu Yishan (Institute of Scientific and Technical Information of China, Beijing, 100038) 【 Abstract 】 The traditional way of assessing scientific papers focuses on the internal characteristics and citation frequency. In this paper, we propose to do the evaluation from a new perspective—paper usage data. We introduce some new indicators, including paper usage index( HTML page views, downloads, citations) and the adjustment indicators (the ratio of download to views, the ratio of citations to download), to assess a single paper comprehensively. It is shown that this approach works and is better than using citation only ， by comparing our ranking results drawn from PLoS Biology data with the F1000 paper scores . 【 Keywords 】 evaluation of scientific papers ； paper usage index ； citation ； HTML page views ； download 1. 引言 学术文献是科研产出的重要形式，可以从侧面反映 国家、机构、个人的科研实力，也可以反映各学科发展现状和趋势。 学术文献评价工作关系到国家科技的良性发展和原始创新能力的提高，关系到科研环境建设，具有重要意义。 目前，学术文献评价方式主要有三种：基于同行评议的定性评价，基于科学计量学指标的定量评价，以及二者结合的理想方式。 同行评议因人力、时间等因素限制，在海量文献不断涌现的数字时代面临诸多困难。评审专家精力时间有限，知识结构相对局限，人情利益等因素都是同行评议不可避免的难题。基于计量的定量评价集中于两项指标，论文发表期刊影响因子和被引频次，片面地使用这两种方式给学术评价工作带来很多弊端。影响因子代表一定时间内期刊的论文被引水平，同刊物内论文水平不一，这种简单的 “ 以刊评文 ” 的方式不恰当。 2003 年 6 月，科技部、教育部等五部委联合发布《关于改进科学技术评价工作的决定》，强调： “ 刊物的影响因子，在用于宏观上判断科学技术产出的总体情况是有意义的，但不宜作为具体论文内在价值的判断标准。 ” ] 此外，学科间引用情况不同，简单以被引频次评价文章也不合适。即使被引频次相同，也不能简单将两篇文章水平等同，因为被不同人、不同文章引用，其价值也是不同的。 传统论文评价工作更多关注论文的内部特征（基金资助情况、发表期刊情况、收录数据库等），对于外部特征仅仅是考虑到文章的被引频次，较为单一。在数字化时代，论文点击量、下载量、被链接次数等新的统计数据也唾手可得，这给单篇论文的评价工作带来新的视角。本文从文献利用数据方面定量评价单篇学术文献，用实例验证了该方法的可行性。需要指出的是，该方法也有待改进和完善。 2 现有研究 目前，学术评价的对象集中于期刊、机构、科研人员，关于单篇论文评价的研究主要关注两方面：单指标评价研究与综合指标评价体系研究。 在单指标评价研究方面， Schubert A （ 2009 ）提出用单篇文献施引文献的 h 指数来表示这篇文章的 h 指数，该方法更适用于高被引文章 ] 。 Kosmulski Marek （ 2011 ）提出 “ 成功论文 ” （ successful paper-SP ）的概念，并定义成功论文：一篇论文的被引用次数超过该文章参考文献的数量的论文 ] 。 Van, Erjia ， Ding, Ying （ 2010 ） ] ， Walker, Dylan , et al. （ 2007 ） ] ， Su Cheng, et al. （ 2010 ） ] 等人，提出基于 pagerank 的思想的单篇文献评价方法，综合考虑引用的数量与质量，引入引用间隔时间权重和引用期刊的知名度权重。 Fragkiadaki E 等人提出 F- 值指标，在引文网络中，区分直接引用与间接引用，并考虑路径深度 n ，按照一定算法得出相关论文的 F 值 ] 。 Lutz Bornmanna 等人提出了引用速度指标（ citation speed index ），主要是指文献第一次被引用的时间间隔，一般而言从发表到第一次被引的时间间隔越短，该文章的影响力越高 ] 。 Hu Xiaojun,Ronald Rousseau,Chen Jin 提出基于文章参考文献数和二代引用数的 CR 指数、 CC 指数 ] 。邱均平提出了论文质量指数（ Paper Quality Index ） , 可以解决不同学科之间比较和时效性方面的问题 ] 。吴勤 ] 、钟文一、陈云鹏 ] 从消除自引的角度出发，设计了引证强度 / 引证系数，优化了影响因子。徐芳、刘文斌、李晓轩提出等同论文数（ EPN ） ] ，通过稿件录用率测量学术论文中包含的等同工作量，实现对学术论文质量的评估。 在综合指标评价方面， Cho SR 提出了开源环境下论文的评价综合指标，设计了 OAR 评价模型 ] 。 PLoS ONE 总编 Peter Binfield 在 2009 年 12 月召开的一次科学计量学会议上，就网络环境下论文质量评价可以考虑的因素做了分析，并提出了相关的指标，包括使用数据、浏览量、从 Scopus 和 CrossRef 获得的引用量、社会网络链接、相关新闻报道、评论和读者评级等 ] 。 Sombatsompop N 等人在对引文的评估中，提出了文章影响因子（ article impact factors ， AIF ）、位置影响因子（ position impact factors ， PIF ）、期刊影响影子（ journal impact factors ， JIF ）等多个指标，使用多指标进行评价，特别考虑了在文章不同位置引用应该给予不同权重 ] 。国内研究方面，张玉华、潘云涛、马峥提出用期刊文献类型、期刊影响力、国际显示度等多项指标综合评估科技论文质量 ] 。杨亚晶、左惠凯等对高校的学术评价文献体系进行了研究，主要基于发表论文级别、会议论文级别、著作的字数以及论著类别等方面的考虑 ] 。金晶、何钦成、王孝宁等对跨学科门类的学术论文影响力评价方法进行了研究，建立了综合评价体系下应用 TOPSIS 法计算其综合评价值、应用 SOM 法聚类的一套评价体系 ] 。苏学、郭继军等人分别对期刊论文质量评价指标体系进行了探讨，并初步设计了一系列相关指标（期刊影响因子、论文被引情况、论文基金资助情况等） ] 。程艳丽依据期刊影响因子、被引频次和 h 指数，运用期刊评价的数学模型来评价学术成果，在比较同行评议的基础上探讨综合评价方法 ] 。于跃进对学术研讨会论文进行定性评价与定量评价，增加定量评价因子，体现评价的层次性与综合性 ] 。罗江琴提出了基于 Web 社区的科研论文自动评价方法，该方法本质上是模拟同行评议 ] 。 综上，单篇文献单指标评价专注于 “ 引用 ” 指标，并适度计及引用的质量，例如引入时间截点、影响因子、直接间接引用、自引他引、引用位置等。在综合指标体系方面，除了被引频次、期刊影响因子外，人们还考察了一些其他指标，如发表论文的级别、学术会议级别、基金资助情况、被国际文献数据库收录情况、文献类型等。此外定量与定性评价相结合也是一大趋势。 3 指标选择 一篇文献大致包含两类信息，内部信息和外部信息。内部信息是指自发表之日起作者或编辑赋予文章的属性，如发表时间、发表期刊、发表栏目、基金资助、文献类型、参考文献数等。外部信息是指文献发表后来自外部的各种反馈包括引用、浏览、下载、评价、社会网络传播等，如表 3.1 所示。 表 3.1 单篇文献信息分类 信息属性 具体信息 指标延伸 内部 发表时间 　 发表期刊 期刊影响因子等 文献类型 文章 Article\ 综述 Review\ 社评 Editorial Material\ 快报 Letter 等 基金资助 是否获得基金资助及基金级别 合著情况 是否合著；国际合著或国内合著 参考文献数 　 页数 　 发表栏目 外部 引用 引用的量：引用次数、引用半衰期 引用的质：引用论文自身的质量 网络浏览 总点击次数、浏览持续性：月浏览量大于平均水平（中值）的月份总数等 下载 下载总量、下载持续性：月下载量大于平均水平（中值）的月份总数 Blog 覆盖量 科研类博客网站链接、关注文章的次数，如科学网、 Nature Blogs 、 Bloglines 等 社会网络标签数 个人在文献管理网站对文献添加的标签数量，目前比较出名的网站有 CiteULike 、 Connote 、百度文档等 如上所述，现有的单篇论文评价方式，在内部信息方面关注来源期刊的影响因子，在外部信息方面关注被引频次，仅此而已。本文尝试用更为全面的外部指标来评价单篇文章。考虑到目前数据可得性，本文提出以下外部指标来评价单篇文献的学术质量： a. 被引频次：引用是对文章的直接肯定，是反映文章学术价值的重要部分。需注意，不同学科之间被引频次的不可比性，如需考虑论文在不同学科的被引情况，可考虑引用频次在学科内的被引百分位。鉴于被 SCI 收录期刊引用更有代表性，以及多数人的使用习惯，本文引用数据来自 Web of Science 。 b. 下载指数 =0.4* 下载量 +0.6* 下载持续性指数（数据需标准化）。下载也是文献利用的一种方式，表明该文章对读者的研究有参考价值，这种价值不一定反映在参考文献中（即引用），还可能是别的启发，如扩展文献阅读。下载量是从数量上反映文献被关注程度，但是可能有偶然因素导致数据偏高，如文章才发表时放在网站首页而被关注，本文提出下载持续性指数，即月下载量超过平均水平（取所有月下载量中值）的月数和，可反映下载的“质 ” ，可部分消除这种偶然因素。 c. 浏览指数 =0.4* 浏览量 +0.6* 浏览持续性指数，算法同上。浏览是另一种文献利用形式，但其所传播的价值又是不及引用和下载的，这点可以用权重加以调整。 d. 浏览下载率 = 下载量 / 浏览量，反映文章被浏览后下载的概率，是对点击量的调整指标。 e. 下载引用率 = 引用量 / 下载量，反映文章下载后被引用的概率，是对下载量的调整指标。 浏览量、下载量和引用频次，都是关于“利用”的指标，本文将这三项合并成文献利用指标，并根据其重要性赋予相应权重，文献利用指标 = 0.5* 被引频次 +0.3* 下载指数 +0.2* 浏览指数。 d 、 e 指标是对文献利用指标的调整，因为单方面提高某个指标是可以人为操作的，但是综合提高各项指标就有难度了。本文设定， 单篇文章总得分 = 文献利用指标 + 浏览下载率 + 下载引用率（此处均是标准化值）。 4 基于 PLoS Biology 的实证分析 4.1 数据准备 公共科学图书馆（ Public Library of Science, PLoS ）是一个由科学家和医生组成的非营利机构，致力于全球科学和医学文献的 OA 服务。 PLoS Biology 是 PLoS 旗下最具代表性的刊物之一，著名线上期刊 PLoS ONE 也是 PLoS 系列刊物之一种。 PLoS 在其网站上对每篇文章提供了详细的文章级别测度值（ Article-level-metrics ），包括使用数据（ usage data ）、浏览量（ view data ）、从 Scopus 和 CrossRef 获得的引用量、社会网络链接、相关新闻报道、评论和读者评级等，本文实证部分正是基于这些数据。 考虑到论文使用的时滞性和科技评级的及时性， 本文选取的是 2010 年发表在 PLoS Biology 并被 SCI 收录的所有文章，共 243 篇 ，包括两种文献类型： Editorial Material 和 Article 。 由于社评文章很少，本文未对两种文献类型分别处理，而是视为一体。 数据说明： (a) 被引次数：截止到 2012 年 4 月 18 日某篇文章在 Web of Science 平台上获得的引用次数。 (b) 点击量：文章自发表之日起在 PLos 网上被点击次数。 (c) 下载量：文章自发表之日起在 PLoS 网站上以 PDF 格式及 XML 格式下载次数总和。 (b) 、 (c) 数据均来自 PLoS 网站发布的 PLoS-ALM 文件，发布时间为 2011 年 9 月 18 日。 4.2 数据分布及相关性分析 对原始数据做单样本 Kolmogorov-Smirnov 检验，结果如表 4.1 所示，检验发现，只有点击下载率符合正态分布。 表 4.1 原始数据 Kolmogorov-Smirnov 检验 　 被引频次 浏览量 下载量 下载引用率 点击下载率 N 243 243 243 243 243 正态参数 a,b 均值 13.03 3637.78 1018.33 .011866 .3106012 标准差 20.493 3907.273 692.107 .009616 .0766763 最极端差别 绝对值 .262 .251 .180 .137 .068 正 .234 .228 .180 .137 .068 负 -.262 -.251 -.160 -.109 -.060 Kolmogorov-Smirnov Z 4.090 3.909 2.810 2.142 1.063 渐近显著性 ( 双侧 ) .000 .000 .000 .000 .208 a. 检验分布为正态分布。 b. 根据数据计算得到。 因为多数指标不符合正态分布，此处用 Spearman 系数（秩相关系数）检验指标间相关性。 Ffa 表示 F1000 系统中专家对某篇文章的评分（下文会有具体说明），可代表“金标准 ” 。如表 4.2 所示，各个指标与 Ffa 的相关性都不强，可以从不同侧面反映文章质量。多数指标间相关性不显著，只有浏览量与下载量、被引频次与下载引用率显著相关， Spearman 系数分别为 0.88 和 0.860 。网页点击量与点击下载率负相关，即当点击量很高时，提高该指标难度加大。 表 4.2 原始数据相关性分析 Spearman 的 rho 浏览量 被引频次 下载量 下载引用率 点击下载率 Ffa 浏览量 　 相关系数 1.000 　 　 　 　 　 Sig. （双侧） . 　 　 　 　 　 被引频次 　 相关系数 .394 ** 1.000 　 　 　 　 Sig. （双侧） .000 . 　 　 　 　 下载量 　 相关系数 .880 ** .524 ** 1.000 　 　 　 Sig. （双侧） .000 .000 . 　 　 　 下载引用率 相关系数 -.022 .860 ** .071 1.000 　 　 Sig. （双侧） .738 .000 .267 . 　 　 点击下载率 相关系数 -.343 ** .214 ** .078 .226 ** 1.000 　 Sig. （双侧） .000 .001 .227 .000 . 　 Ffa 　 　 相关系数 .138 * .362 ** .229 ** .280 ** .208 ** 1.000 Sig. （双侧） .031 .000 .000 .000 .001 . N 243 243 243 243 243 243 **. 在置信度（双测）为 0.01 时，相关性是显著的。 *. 在置信度（双测）为 0.05 时，相关性是显著的。 注： Ffa 表示 F1000 文献评估系统基于同行评议的文献评分，作为定性参照。 4.2 方法 及结果 本文采用标准分对数据进行标准化，计算各指标 Z 得分和 T 得分 ] ， 标准分能反映对象在集合中的位置，其最大特点是考虑到指标得分的相对难易程度。标准化后，利用本文所提指标将结果与 F1000 （ Faculty of 1000 ）的评价 Ffa 得分进行对比。 F1000 （ Faculty of 1000 ）由英国 BioMed Central 发行，包括生物学（ Biology ）和医学（ Medicine ）两大系列，旨在为全球生物学及医学研究人员提供在线文献评估。其主要特点是：（ 1 ）评审成员由国际知名机构临床专家、学者组成；（ 2 ）评估的主要依据是文章的学术成就而不是文章一定要被 SCI 收录。专家组根据论文学术贡献度和科学价值，给予客观反映学术水平的评分（ F1000 因子，即 Ffa 得分）， Ffa 有三个等级分别为 10 分（杰出）、 8 分（必读）和 6 分（推荐）。在 2010 年 PLoS Biology 发表文章中，有 67 篇被 F1000 评估，分值从 15 分到 6 分不等。 根据国际科学计量学评价的习惯做法，对评价分值进行分级处理，划分为 6 级（ top1%,top5%,top10%, top25%,75%-50%, 最末位 50% ），并比较在不同级别内定量与定性选择的重合率，具体结果如下表 4.3 所示。 F1000 是一个主观评价的系统，评审专家对于文章的评估出于多种角度，与定量评价必然有出入，例如某些文章 F1000 评分很高，但是被引次数、点击量、下载量都不高。但仍可看出，我们的评价总分前 25% 的文章（文章分级为 1-4 ），与 F1000 的重合率还是可观的，而且随着文章级别的降低，重合率也在下降，说明本文的指标能从一定程度上反映文章质量。另外，我们发现，采用综合指标时重合率的降低趋势优于单采用被引频次时重合率的降低趋势。在文章 FFa 平均得分方面，虽然有小波动，但总体来说是下降的。由于参与同行评议者对分数的把握程度不同，这种分数上的波动是可以理解的。 表 4.3 本文指标、被引频次指标与 F1000 系统评估重合率对照表 总分百分位位置 文章 分级 总篇数 A F1000 收录篇数 B ( 综合指标） F1000 收录篇数 B1 （被引频次） 重合率 =B/A( 综合指标） 重合率 =B1/A （被引频次） 篇均 F 得分 = ∑ Ffa/B （综合指标） 篇均 F 得分 = ∑ Ffa/B1 （被引频次） X=99% 1 3 2 2 67% 67% 11.50 11.50 95%=X99% 2 10 7 5 70% 50% 8.30 8.40 90%=X95% 3 12 6 2 50% 17% 7.00 7.00 75%=X90% 4 36 14 18 39% 46% 7.29 7.67 50%=X75% 5 61 21 24 34% 42% 7.76 7.50 X50% 6 121 16 16 13% 13% 7.56 7.19 5 结论 本文利用文献利用数据（引用频次、网页点击量、下载量）、点击下载率、下载引用率，综合定量评价单篇文章，并用实例证明了该方法的可行性。数据的可获取性仍然是一个有待解决的问题。若将此方法应用于中文科技论文单篇评价时，以下数据源可作为参考， CNKI 提供的下载量与引用量，某些期刊网站提供的本刊点击量。文献利用指标是一个非常重要的标度，包括多方面因素，值得更深入的探讨。 单篇论文的评价涉及更为细致的信息，以往的评价方式过于笼统，例如，本文所选择的样本，期刊影响因子、基金论文（ 85% 左右的论文有基金资助）、收录数据库等都一致，再做评价就需要新的维度，这正是本文所提指标的意义所在。本文旨在提供论文评价的新角度，尤其是在内部特征区分度不大的情况下，丰富指标的测度范围。后期，我们也将尝试将内外部特征结合的评价指标。本文也有许多不足需改进。如指标权重的如何设定？对不同期刊、不同时间段的文章能否进行互比？要回答这些问题，需要进行更深层次的研究。其次，本文只探讨了引用频次，只考虑了影响指标的 “ 量 ” ，今后还可以继续探讨这个指标的 “ 质 ” 如何反映。另外，该方法可能不适合评价某些小学科的单篇论文，这些小学科的引用量、下载量、点击量都较低，对它们的评价需要另行探讨相关方法。 参考文献 * 国家自然科学基金项目“发达国家科技期刊建设同经济实力、科技发展的关系暨期刊语言选择的历时性研究及其借鉴意义”（ 70973118 ）资助，负责人：武夷山 SCI 并未将 2010 年发表于《 PloS Biology 》的所有文章收录 ] 科学技术部，教育部 , 中国科学院等 . 关于改进科学技术评价工作的决定 中国科技期刊研究 ,2003,14(5):482-484. ] Schubert, A. Using the h-index for assessing single Publications .Scientometrics,2009 78(3), 559–565. ] Kosmulski, M. Successful papers: A new idea in evaluation of scientific output . Journal of Informetrics ,2011,5(3): 481-485. ] Erjia, Y. and D. Ying. Weighted Citation: An Indicator of an Article's Prestige . Journal of the American Society for Information Science and Technology,2010, 61(8):1635-1643. ] D. Walker, H. Xie, K.-K. Yan, and S. Maslov, Ranking scientific publications using a simple model of network traffic . J. Stat. Mech.,2007,(6). ] Su Cheng, Pan YunTao, Zheng YanNing, et al. PrestigeRank: A new evaluation method for papers and journals . Journal of Informetrics. 2010,5(1):1-13. ] Fragkiadaki, E., G. Evangelidis, et al. f-Value: measuring an article's scientific impact . Scientometrics,2011, 86(3): 671-686. ] Bornmann, L. and H. D. Daniel. The citation speed index: A useful bibliometric indicator to add to the h index . Journal of Informetrics.2010,4(3): 444-446. ] X. Hu, R.Rousseau and J. Chen. Structural indicators in citation networks . Scientometrics, 2011,91(2):451-460. ] 邱均平 , 马瑞敏 , 程妮 . 利用 SCI 进行科研工作者成果评价的新探索 . 中国图书馆学报 ,2007,33(4):11-16. ] 吴勤 . 基于引证强度的学术论文质量评价方法研究 . 情报学报 , 2007, 26 (4) :522-526. ] 钟文一 , 陈云鹏 . 基于引证系数的论文影响力评价方法研究 . 情报科学 ,2011,(5). ] 徐芳 , 刘文斌 , 李晓轩 . 等同论文数 (EPN): 学术论文质量评估的新指标 . 科研管理 ,2011,32(7): 150-156. ] Cho, S. R. New evaluation indexes for articles and authors' academic achievements based on Open Access Resources .Scientometrics .2008,77(1): 91-112. ] 徐青 . 《 PloS 综合》将新推出多个文章影响力指标 . 科学网： 2009-1-20 http://news.sciencenet.cn/htmlnews/2009/1/215579.html ] N. Sombatsompop., A. Kositchaiyong., T. Markpin., S. Inrit.. Scientific evaluations of citation quality of international research articles in the SCI database: Thailand case study . Scientomtrics.2006,66(3): 521-535. ] 张玉华 , 潘云涛 , 马峥 . 科技论文评估方法研究 . 编辑学报 ,2004,16(4):243-244. ] 杨亚晶 , 左惠凯 . 高校学术论文质量评估及其数学模型 . 现代情报 ,2005,(11):191-195. ] 金晶 . 跨学科领域自然科学学术论文评价方法可行性研究 . 沈阳：中国医科大学， 2009. ] 郭继军 , 何钦成 . 科技论文评价中的文献计量学分析 . 中华医学图书馆杂志 , 2001,10 (6)60-61 . ] 程艳丽 . 期刊及其学术论文的评价方法及思考 . 河南大学学报（社会科学版） , 2010, 50 (2): 152-156 . ] 于跃进 ,. 对学术研讨会论文评价的几点思考 . 社会科学管理与评论 ,2005,28(4):46-50. ] 罗江琴 , 阳小华 , 马家宇 . 基于 Web 社区的科研论文自动评价 . 南华大学学报 ( 自然科学版 ),2007,21(1):78-81. ] 俞立平，武夷山 . 学术期刊评价中标准分与原始分的比较研究——科技评价方法必须进行革命性改良 . 情报学报 ,2011,30(11):1187-1193. 作者简介： 何星星，女， 1987 年生，硕士研究生，研究方向为科学计量学。 武夷山，男， 1958 年生，研究员，博士生导师，研究方向：情报学、科技管理、科学计量学。 通讯地址： 北京市海淀区复兴路 15 号中国科学技术信息研究所情报方法研究中心 539 办公室 邮编： 100038 E-mail 地址： hexx@istic.ac.cn
个人分类: 科学计量学研究|11934 次阅读|14 个评论
行万里路，读万卷书-写在2012年7月11日
physicsxuxiao 2012-7-11 23:09
Dear brother： CX sent an Email to all the other authors to inform that the paper has been accepted by Rapid Communication of Physical Review B，and ask us to prepare a summary for Coverage of J.APS andAIP. I've taught so many students and finished so many engineering projects since20 years before.But few words were written down aspapers.Andyou always thought thatI were not such talentful. It's wrong absolutely,my dear brother! 'Writing Papersare the greatest careeron this planet,the authors know the paper'svalue themselves.' 夫文章者，动物皮毛之花纹也。必先有心，有得，有践行，经风雨，方可有绚烂之美，矫健之态。若闭户演字，皓首穷经，生气已消，魂魄四散，徒余皮毛，为天下笑，EI,SCI又如何？ 又云，文以载道。或察宇宙之机，或观人伦之妙，或以笔为剑，气贯长虹，或以血为史，流传千秋。岂可蝇营狗苟，辱我文笔耶？ 先祖教曰：“义即《易》之所谓‘言有物’也，法即《易》之所谓‘言有序’也。”，为子孙者，不能逾越。 兄庙堂之器，望察之。 问安！
3319 次阅读|0 个评论
[转载]“以刊评文”是“以文评刊”结果
热度 2 renquane 2011-12-7 18:53
“以刊评文”是“以文评刊”结果 任全娥 （人民网 http://theory.people.com.cn/GB/16239177.html ） 2011年11月14日10:54来源： 《中国社会科学报》 长久以来被人们诟病的“以刊评文”现象，实际上是“以文评刊”的结果。期刊论文评价与期刊评价是互为因果的，要么形成良性互动，要么形成恶性互动。 　　在马太效应的作用下，越是影响大的期刊就越有丰富的高质量稿源供编辑筛选。最后，好的期刊会越来越好，差的期刊则越来越差，并逐渐被淘汰出“学术市场”。 　　当前学术界，在期刊发表论文已经成为科研人员生存及晋升的“硬通货”。在美国或其他发达国家，“不发表就出局”（Publishorperish）这个“现代学术谚语”的意思是，搞学术研究若没有论文发表就没有出路。但是，论文发表就意味着作出了学术贡献吗？如何评价已经发表的论文质量？好期刊就必然刊登好论文吗？又如何评价哪些是好期刊？这一系列的问题归根结底都涉及一个科学评价问题，特别是论文评价与期刊评价关系问题。 　　 “不发表就出局”有隐含前提 　　其实，“不发表就出局”的“现代学术谚语”中隐含着一个潜在的假设前提条件，那就是论文的发表要遵守严格的学术规范。 　　一般来讲，论文的内容要有新颖之处，真正代表着一个学者的科研水准，存在公开交流的价值与发表的意义；论文的形式要标注规范，既便于同行读者进一步查阅验证，又展示出作者的研究路径与科学方法，提供开展广泛交流的途径与方式。 　　但是，这一隐含的假设前提在国内有些期刊是靠不住的。有些期刊编辑部为了满足学者发表论文的需要，想出了各种互惠“妙招”协调双方利益，如出版“鸳鸯刊”、合作创办栏目等等。 　　这样既可以给需要发表论文的作者和机构提供发表渠道，随后带来晋升、获奖、毕业、拿项目等一系列“衍生效益”，同时又为刊物带来了经济运营发展空间，但学术期刊所特有的传播学术成果、推动科学进步的本质功能却无暇顾及了。可想而知，在这一学术生态环境下发表出来的论文质量就不敢保证了。 　　 期刊评价根本在于论文质量 　　论文评价属于微观层面的学术评价，是期刊评价、机构评价、人才评价、项目评价的最小评价单元，同时也是最为复杂、需慎重对待的评价对象。 　　知识的生产流程，一般是从撰写论文、发表论文开始的，而知识生产结果的评价则是从论文在期刊发表开始的。论文在发表之前，要经过期刊编辑、审稿专家的多轮评价与筛选，这一层面的评价主要采取同行评议定性评价，直接评价论文本身。论文在发表之后，除了经历专家的主观评价，还往往借助期刊评价结果来评价在该刊发表的论文，比如发表论文的期刊影响因子、是否核心期刊、是否来源期刊等。 　　那么，这些期刊评价结果又是从何而来呢？当然是来自于期刊论文的质量或者说是学术影响。期刊是论文得以发表的传播载体，论文的整体水平直接决定着期刊的影响因子及是否核心期刊或来源期刊。 　　看来，长久以来被人们诟病的“以刊评文”现象，实际上是“以文评刊”的结果。期刊论文评价与期刊评价是互为因果的，要么形成良性互动，要么形成恶性互动。在马太效应的作用下，越是影响大的期刊就越有丰富的高质量稿源供编辑筛选，期刊发表的论文就会引起更多的关注阅读、浏览下载、引用参考、转载传播，随之期刊在评价指标上也就具有更好的表现，从而成为核心期刊、来源期刊、高影响因子期刊。最后，好的期刊会越来越好，差的期刊则越来越差，并逐渐被淘汰出“学术市场”。 　　 期刊编辑需注重学术规范 　　目前最常用的文献计量评价主要是通过引文数据库来实现的，期刊能否被数据库收录，成为来源期刊，是成为核心期刊的先决条件。 　　国内有六大期刊评价体系，分别是北京大学图书馆的“中文核心期刊”、南京大学中国社会科学研究评价中心的“中文社会科学引文索引（CSSCI）来源期刊”、中国社会科学院文献信息中心的“中国人文社会科学核心期刊”、中国人文社科学报学会的“中国人文社科学报核心期刊”、中国科学院文献情报中心的“中国科学引文数据库（CSCD）来源期刊”和中国科学技术信息研究所的“中国科技论文统计源期刊（中国科技核心期刊）”。 　　这些大型引文数据库都非常重视来源期刊的筛选，在自己的网站详细公开来源期刊的采选标准。一般情况下，首先要看的是期刊的编辑规范与文献著录标准。论文的作者及机构著录是进行人才评价与机构评价的分析单元，摘要、关键词及分类号著录是进行学科评价或内容分析（包括学科发展趋势分析）的分析单元，基金资助著录是进行项目成果评价的分析单元，参考文献著录是进行引文分析、学术影响、绩效评价的分析单元。这些分析单元，从评价学的角度看是“间接评价指标”，从信息资源管理的角度看是“管理元数据”，从信息哲学的角度看是物质实体的“信息中介”。尽管名称各异，但一些较为核心的基本分析要素却没有太大变化。 　　引文数据库对来源期刊的筛选，除了有期刊形式的规范要求，还有对期刊论文内容质量及学术影响方面的要求。国际引文数据库来源期刊一般要考虑到国际间平衡、内容主题互补、同行评议规范及被引用的表现，国内引文数据库来源期刊则主要兼顾到学科平衡、省际平衡及被引用的表现。但无论国外引文数据库还是国内引文数据库，都会将期刊往年的被引用情况作为遴选来源期刊的关键指标，即非常重视期刊论文的学术影响力。不同之处在于，国际引文数据库严格要求期刊实行国际化的同行审议，而且对审稿专家、编委、顾问等都有具体要求，国内引文数据库则对文献著录规范、参考文献量等指标较为重视。 　　因此，期刊编辑在审阅投稿论文时，需要仔细核对并校正论文的形式特征，包括作者及机构、摘要关键词及分类号、资助基金、引文注释及参考文献，看这些文献信息是否标注齐全、准确无误。这些看似简单的评审要素，对其后的文献计量评价信息的采集至关重要，甚至在很大程度上影响着论文及期刊的评价结果。 　　当然，期刊编辑既不能被“核心期刊”或论文评价牵着鼻子走，也不可对科学评价结果漠不关心、满不在乎或存有偏见，而要在内容上注重每一篇论文的质量，在形式上积极与国际接轨，走标准化、规范化之路。 　　（作者单位：中国社会科学院文献计量与科学评价研究中心）
3796 次阅读|5 个评论
[观点]关于科研评价、论文评价、教育评价
htrmt 2010-10-30 02:29
2010.1030.0220 读如下博文后有感： “ 论文研究水平的层次 ” “ 对发表论文的深层次思考 丘成桐院士演讲： 如何做好学问 大学精神啊，我们都在喊你2010年回家 现代科技创新的学术文化探源 杨玲也许是另一个“伟大的笨蛋”? 中国SCI “始作俑者”的故事 妖魔化或过分崇拜SCI都不可取 发表论文、引用文献，国内外、中外文应当一视同仁！ 从博士跳楼，谈博士的职业选择 由于 科学研究重大成果的出现是一个涌现现象 ，因此作为研究者，不应总是期望能做出重大成果，当条件成熟时，它是水到渠成的事情。正如苏博主文中 所说“这三者是相辅相成，逐渐积累一步一步形成的，这里面多数人都做了人梯而已。” 一般说来， 研究中所发现新知识的社会价值重大性、新知识的系统性都可以作为论文价值的衡量标准之一。 另注：对一个进入社会后的人所受教育的评价，其所在企业或机构同事的评价是非常有价值的参考（这与科研中的同行评价有异曲同工之处）。 扭转当下学术界乱像的利器之一是在综合考虑科研经费分配情况（基础研究、应用研究）的前提下 逐步 将研究经费的获取途径转由以市场提供为主，这个结论基于如下事实：以赢利为目的的企业不会（一直）拿自己的真金白银支持无意义的研究。 西方国家大学、研究机构（特别是企业研究院)的发展历程表明了这种做法的可行性。 中所述情形适用的人可能仅 卡文迪许 ，大多数从事研究的人其研究的动力直接或间接的都与为获取经济来源脱离不了干系，因为 社会始终是经济的社会。 2010.1030.1416刚看到鲍博主的好文 ,其所描述内容正应了”经济社会“之说。 2010.1030.1454考虑当前科研界的近况，同时也是考虑到经济对科研（从整个社会层面来说）具有重大激励作用，所以应尽可能转向市场配置为主导，虽然在市场导向的资源配置机制下，冷门的研究常常容易被忽略，但只要一旦发现其至关重要或前景有被看好的端倪，国家或市场的资源配置就会立刻蜂拥而至，直至超额配置。相应的例子：早期互联网的产生阶段及互联网泡沫。由于各种研究往往相互交织，因此基本不用担心某个方面的研究投入完全消失的情况。不过，无论怎样进行资源配置，做到研究者及其家庭的基本生存条件（基本的衣、食、住、行条件）有保障应当是不可打破的底线。 2010.1101.1322博文 指出了SCI存在的问题，但没有给出替代方法。博文 提出了一种可能的模式：e-PPFG（即网络公开发表及自由获取）的文献发表模式。 2010.1101.1330poordusk在评论中提出的问题正在思考中，以后再做回复。 2010.1130.1538 回复poordusk的评论：从你的评论中可以看出你认为大多数研究是“不着边际的”，这个结论显然片面，这可能仅与您所在的环境有关，所以无需反驳。文人自古相轻与科研经费由市场提供之间没有必然的关系，因此无需刻意放在一起考虑。您接下来所说的内容，大意是指国人手头缺钱，所以人们不愿做研究，而美国人钱多，所以才做研发。这只是一种说辞，而不是解释。不争的事实是，当前绝大多数人的生活境况要好于 10 年、 20 年之前。人们之所以觉得钱少是因为周边丰富的物质环境激发了个体更多的物质需求（简称 物欲横流 ）。企业不重视研发与当前的企业经营环境有直接关系，商人的天性是牟利（正如马克思在《资本论》第二十四章“所谓原始积累”第七节中的注释所说：“一有适当的利润，资本就会非常胆壮起来。只要有 10 ％的利润，它就会到处被人使用；有 20 ％，就会活泼起来；有 50 ％，就会引起积极的冒险；有 100 ％，就会使人不顾一切法律；有 300 ％，就会使人不怕犯罪，甚至不怕绞首的危险。”），当投机、钻营的成本偏低、更易于盈利时，商人自然不会选择相对利润偏少的正常经营方式。但是，转向研发，以期提升产品 / 服务质量和完善产品 / 服务功能、提升企业的信誉始终是商业的必然发展趋势。针对您的评论想了很久，得到很多，涉及人文环境、价值观、价值体系、经济、社会发展。 未来文献发表模式、特点与信息福利时代
个人分类: 杂类|4481 次阅读|2 个评论
好吧，请你来告诉我，这研究生论文奖该怎么评？
zhaoxing 2009-6-25 23:56
仅以此反映现今科研评价中，很多人只破不立，重复的发表着对现有体制的批评，却从未给出更好办法的现象。 －－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－ 某校有一对研究表现突出的博硕生进行奖励的项目，称为研究生创新奖。每年评n人，奖金m k。 申报办法是申报人将各自研究成果（主要是论文和专利，专利这东西很玄，这里只谈论文，姑且将此奖励称为论文奖）报上去。 那么研究生院该怎么评？ 办法1，数谁论文多。你一定在骂。。。 办法2，数谁高水平论文多。你会说啥叫高水平？ 办法3，看谁发的高档次期刊论文多。你会说期刊水平能代表论文水平吗？ 办法4，把每个人的材料发给相关学科的专家进行所谓同行评议。被评审人会说专家懂个P！；项目负责人会说那些专家会给你认真审？，还有，评审成本比奖金总额还多，谁出？你出吗！。 办法5，既然专家不懂或不认真审，那咱们还是遵循所谓科学规律，让实践来检验这些文章吧。对社会发挥了作用的论文，才是好文章。有的被评审人会说哦，那我过些年让我小P孩来代领吧，有的甚至会说好吧，那以后你们把钱换成冥币烧给我吧。 还是请你来告诉我，这研究生论文奖该怎么评？
个人分类: 计量学|1419 次阅读|7 个评论
[转载]在哪里发表论文不重要、重要的是发表什么
甘永超 2009-6-25 01:05
为了避免发表韩国黄禹锡等的造假论文的类似事件再次发生，美国《科学》杂志编辑部去年宣布，对 高风险 投稿将采用特别的审稿措施，包括要求作者提供原始数据、图像、或有关材料，以及说明论文每个署名者的贡献等。高风险投稿包括有出乎意料或反直观结果的论文 ( 也包括可能有大的新闻或政治意义的论文 ) 。也就是说，它们可能是最具创新、可能被称为 科学突破 研究成果。 《科学》每年收到 12000 篇原始研究投稿，发表约其中的 7% ，新的审稿措施会不会给编辑部增加过多的工作量呢？美国国家公共广播电台的科学记者 JoePalca 向《科学》总编 DonaldKennedy 提出了这个问题。据 Palca 说， Kennedy 的回答是不会，因为他估计每年的高风险论文在 10 篇上下。 换句话说，世界上最负盛名的科学期刊之一的总编认为《科学》发表的最具创新的论文每年不过 10 篇左右，占其发表论文总数的 1% 。其实，突破性的论文不一定都是在这些国内看得最重的刊物上发表的。 2004 年诺贝尔化学奖得主 AaronCiechanover 说， 在哪里发表论文不重要，重要的是发表什么 。 已经有医学学位的 Ciechanover1976 年从以色列军队退役，但是发现自己真正的兴趣不是行医，而是科学研究，于是到 AvramHershko 的实验室做博士研究生。在那个 RNA 很热门的年代，他的导师却让他研究蛋白质降解的生物化学，从而发现了泛素 (ubiquitin) 系统，这项工作使他们在 20 多年后获得了诺贝尔奖。 他们关于泛素（虽然那时后还没有用这个名字）的第一篇论文于 1978 年发表在一个小的刊物：《生物化学和生物物理研究通讯》 (BiochemicalandBiophysicalResearchCommunications) ，该刊物 2005 年的影响因子是 3 。而他们的这篇经典论文被引用的次数已经超过 2000 。 他们的第二篇重要论文 1979 年投稿到《细胞》，杂志主编没有把稿子送同行评议， 24 小时内就给作者发了退稿信。主编在信中夸论文有意思，但对其中提出的模型大为不解。主编说，如果作者能把模型中的 1 、 2 、 3 、 4 都解释清楚，《细胞》就可以发表。论文作者之一的 IrwinRose 那年正好当选了美国科学院院士，可能因此把论文改投《国家科学院院刊》 (PNAS) ，得以在 1980 年发表。 ( 院士投稿或推荐的论文，院刊总是发表的。 ) 他们论文中的模型至今仍然正确，而把其中的 1 、 2 、 3 、 4 全部搞清楚花了好几个实验室 20 年的时间。这才是开创了一个新领域的科学突破。 《科学》曾把黄禹锡等人论文评为 2004 年的 10 大科学突破 (breakthrough) 之一。然而两年后，黄禹锡事件代表的却是科学诚信的崩溃 (breakdown) 。靠新闻发布出来的科学突破，即使是在高影响因子的刊物上发表的，也不一定经得住 时间的检验。 本文引用地址： http://www.sciencenet.cn/m/user_content.aspx?id=3639 补充一句：既然大家都知道这个道理，为什么不多看看论文内容而只关心论文载体呢？ 一位海外教授对 SCI 的一些看法 嵇少丞 我曾连续三年出任加拿大 NSERC 地学部终审委员会委员（共 12 名，其中来自外国往往美国一名，政府部门一名，工业界 2 名，其余来自各大学），每年阅读评审无数基金申请报告。 NSERC 基金评审规则上明确规定： 不得以论文发表在何杂志而论研究成果的重要性，只要发表在本行业的主流刊物（mainstream journals) 就行。所谓主流刊物就是本研究领域人员常读到的刊物 。 不得以研究学科的不同而区分研究的重要性 （有的人总认为他研究的学科比别人更重要）， SCI引用率不是判别论文质量的标准 。所以，终审时，我们大家从不拿、也不允许拿《自然》和《科学》和 SCI引用率 说事论人。拿论文发表处作为论文自身质量的标志，是和 以貌去人 、 以衣取人 一样荒唐。我们国内有的行政领导喜欢搞一些量化，SCI的误用就是一例，复杂的科研成果评价演变成数手指的加减法运算。 名杂志也常发表小论文甚至假论文，而小杂志也会有大论文 ，完全如此。 A. E. Einstein ( 爱因斯坦 ) 1905 年那 4 篇文章，每篇都应获一个 Noble 奖，都是发表在德国 Leipzig 大学物理系出的物理学年鉴（ Annalen der Physik ）上。这是远的，我们不说。现代构造地质学奠基人 苏黎世 ETH 的 John Ramsay 教授 1973 年关于韧性剪切带的第一篇论文 , 就发表在 Canadian Journal of Earth Sciences, 该杂志的 SCI 引用率才 1.0 左右。研究成果往往越是有前瞻性，越难发表，即使发表了，其SCI引用数也不多 。 科学研究中最可贵的就是寻找真理（自然规律），同时满足科学家的好奇心，把科学之外的东西看得太重，往往让人急功近利，沉不下去真正做研究，反而出不了真正的成果。 本文引用地址： http://www.sciencenet.cn/m/user_content.aspx?id=239979 我的洋老板的论文发表观 最近科学网上关于SCI发表的讨论很多，饶毅老师的文章，貌似引发了不少争论。我跟导师闲聊的时候也会聊到相关的内容，这里就把我们闲聊中涉及论文投稿、发表的部分整理一下，供大家参考。 我们的某次讨论是从大名鼎鼎的JACS（美国化学会会志）开始的，导师告诉我，他这辈子从来没有以通讯作者身份在JACS上发表过文章，我就很奇怪了，我说那么你都往哪里投稿呢？ 他说，在我眼里，期刊只有三个档次，Science/Nature、decent journal和其他 。美国化学会出版的期刊，都算decent journal，所以投到哪里都一样。 说到这里他突然说，哦，我想起来了，好像欧洲人比较看重JACS，有一次，我的法国合作者跟我说，这个工作必须要发JACS，这样对他的升迁有利，我就说好吧，我们争取发个JACS。于是我就给JACS的主编写了个cover letter，说我给JACS审稿几十年，但是从来没有在JACS上发表过文章，这一次我的合作者非要发JACS，以我审稿的经历我也觉得文章够格，你就让他发了吧。于是，这篇文章就被JACS接受了。 接下来我又问，我说现在有个叫影响因子的东西，你知道不。他说知道知道，我知道我有好多同事，特别是年轻同事，投稿之前都看影响因子的，但是我自己从来不知道每个期刊影响因子是多少。对于催化期刊来说，我知道Journal of Catalysis比Applied Catalysis好，Applied Catalysis比Journal of Molecular Catalysis好，这就够了。说完之后他又问我，你熟悉影响因子，你能不能告诉我，这些期刊影响因子是多少？我把相应的影响因子发给他之后，他得意的说，你看，我不需要看影响因子，一样能做出正确的判断！我说，其实我还是想发个JACS的，现在大家都比较看重影响因子，有个JACS还是有好处的。他就说，你自己的文章，投到什么地方，自然是你自己决定，我是不会有意见的，但是如果你征求我的意见，我还是会建议你把最好的结果投到Journal of Catalysis。。。 另外一个我关心的问题，就是什么样的结果是值得发表的。当我跟导师提到这个问题的时候，他毫不犹豫地说：所有的结果！他说，从科学研究的角度来讲，你的所有结果都应该跟整个学术界共享，这样别人才能不走弯路，这也是政府给我们研究资助的目的之一。所以，有好的结果，你可以投好的期刊，有些结果不够好，那些高影响力的期刊不收，那么我们可以投差一点的期刊，但是一定要争取发表。就算是有些结果非常不好，或者说有些实验的结论是这个方法不成功，这种实验结果不会有任何期刊会接受，那你也要写到你的博士论文里去，这样学术界也能够看到。我仔细想想，我们实验室之前毕业学长的博士论文，确实都有很长的附录，用来描述他们做过的，但是没有期刊会愿意发表的实验结果。而这些结果，不说对学术界有什么影响，对我们自己的后续科研，至少是有很大帮助的，可以少走不少弯路。 以上可以说是我导师，一个洋老头的论文发表观，希望能对各位读者有所启发。另外，请大家不要把本文结论随意扩展，比如说，不要认为这是美国教授的普遍观点，最多只能说，有些美国老头是这样认为的。。。 最后提供一点背景资料，我导师他年近70，从教42年，在业内有一定影响，也做过若干年业内主流期刊的主编，近年来工作重心偏向管理，所以观点可能有些过时。 本文引用地址： http://www.sciencenet.cn/m/user_content.aspx?id=240941
个人分类: 生活点滴|1773 次阅读|9 个评论
期刊评价与论文评价
rbwxy197301 2009-5-27 10:25
学术期刊在发挥传播知识功能的同时，也被赋予了评价的功能。许多学术期刊评价的指标体系都是以学术期刊的影响力、学术期刊的声誉、学术期刊上刊载论文的质量为侧重点。尽管评价指标的选择存在差异，数据的来源也不尽相同，但从最终的评价结果来看，大部分期刊所处的位置差别并不大。作者通常会把最好的文章投到学科领域较好的期刊上，质量较高的学术期刊其把门人的水平、审稿制度等都比较严格。因此，一个学科领域较为优秀的研究成果也大部分会集中在一部分学术质量较高的期刊上。从这个角度看，马态效应的结果就会导致以刊论文、刊以文名、搭便车的现象。另外，我们可以发现，在一些质量较高的期刊上会出现一些质量相对较差的文章，在一些质量较差的期刊上也同样会有质量相对好的文章。期刊评价中侧重的是很多篇论文整体的评价，而论文评价侧重于单篇论文的评价。因些，期刊评价与论文评价在评价的主体、客体、评价的过程、评价的标准等方面都是不同的。这个问题一直受到学界的关注，从下面的文章当中，也许可以得到一些更加清晰的答案。 期刊评价不等于论文评价 如何改进学术评价 2009年05月26日 08:17:49 　来源：光明日报 转载自：http://news.xinhuanet.com/edu/2009-05/26/content_11434965.htm 　近日,首届人文社会科学评价暨第五届科研绩效评价学术研讨会在南京大学召开。此次会议由南京大学中国人文社会科学评价国家创新基地主办,南京大学信息管理系承办,南京大学中国社会科学研究评价中心及中国人民大学人文社会科学发展研究中心、武汉大学中国科学评价中心、中国科学学与科技政策研究会、中国科技信息研究 所情报方法研究中心、中国科学院图书馆科学前沿分析中心、《科学学与科技管理》杂志社协办。来自教育部、台湾大学、南京大学、北京师范大学、中国人民大学、清华大学、武汉大学、中山大学、复旦大学、浙江大学、中国社会科学院、中国科技信息研究所等学术机构的学者、主编、评价专家和美国ISI中国区代表及国际文献、科学计量学会长鲁索教授的代表共70余人参加了会议。 　会议围绕人文社会科学评价的理论与方法、人文社会科学创新力评价、同行评价与引文评价、期刊评价与论文、著作质量评价与绩效评价、人文社会科学评价标准、评价指标体系和评价体系等国际性难点、热点问题进行深入探讨和广泛交流。此次会议是人文社科和自然科学两大领域的评价专家和学者的首次聚会,也是学术链中的学者、编者、文摘、索引编制者、图书情报管理者、科研管理者首次针对学术评价的主题进行交流。通过研讨,与会者对以下问题达成了一定共识。 　学术评价是需要和可行的 　与会者认为,不论是自然科学,还是社会科学,或是人文学科,不管承认与否,评价都是客观存在的,在研究的各个环节,诸如试验、阅读、写作、引用、阐释、论证等过程中都包含着评价。不是要不要评价的问题,而是由谁评价,有何评价目的,以什么标准评价,评价的条件是否已具备的问题。在解决了评价是需要和可行的这个大前提后,我们就可以不再争论人文学科是否能评价的问题,而是集中精力来解决怎样评价等实质性问题。 　同行评价与引文评价是可以互补且可以相互制约的 　与会者认为,尽管在评价制度不完善、同行自律不严等情况下,同行评价也会引发一些流弊,但从总体看,同行评价仍不失为学术评价的最主要的方法,尤其是对研究的质量进行高端、精细的评价时更是如此。因为只有具有专门的知识,才能评价本专业研究的得失。学术造诣越高,越能看清研究的高下。为了使同行如实表达出来,就需要设计好评价制度,包括评价的公开性、透明性和可检验性。而引文评价,并不是如通常所认为的只是定量评价法、间接评价法,或是客观的,是与同行评价对立的方法,它首先是一种同行评价,是作者的主观判断。引文是能够读懂被引文献的本领域同行或相关领域同行对其研究是否有用或有帮助的判断。引文数据既是定性的,又是定量的,准确地说,它先是定性的,尔后才是定量的。引文评价是没有经过事先聘请的许多大众同行的评价,是任何人所不能控制的,正是由于这个特点,引文评价可以与事先聘请的精英同行专家的精细评价相互印证、相互制约和校正。但也应清醒看到,引文是科学对话的一种方法,是作者认为对自己的研究有用的资料,并不是专门对研究质量的评价,有的引文可以测量学术质量,有的则不行。因此在进行学术评价时,要根据各学科不同的引文行为来具体对待,要区分正面引用、负面引用和引文深度。要根据不同的评价对象和目的,适当利用引文数据,夸大或缩小其评价功能都不可取。在没有更好的评价方法出来之前,引文评价法是最不坏的方法。 　期刊评价不等于论文评价 　 期刊评价的主体应该是学者、读者、期刊编者、图书情报专家和科研管理专家。期刊评价主要是指期刊的质量评价。目前利用引文数据(引文次数、影响因子、H指数等)、被摘、被转载、被下载率等对期刊的评价,仅是从几个方面对期刊影响力的评价。尽管影响力与质量、价值有很强的正相关性,但它并不是期刊质量的直接评价。期刊质量评价是指对期刊的整体品质、内容与形式优劣的判断,需要学者、读者、期刊编者、图书情报人员、科研管理者等共同参与。在参考引文等各种数据后,要对期刊进行直接的审读和评价。这是一项颇费时费力的工作,必须下功夫认真组织进行,切忌急功近利,仓促评价。但不论有多大困难,目前也要积极准备条件开展这项工作。要对不同类型期刊的质量制定评价标准和指标,首先要确定一组期刊是否具有可比性,尔后再选好评价者和合适的评价方法,要给评价者充足的评价时间和评价条件。在真正的期刊质量评价完成之前,不要用其他较为粗略的期刊评价来替代期刊精细的评价。即使期刊质量评价完成后,期刊评价也不能代替该刊所刊载论文的评价,已正式发表过的论文是否有高质量,还必须由同行对论文的内容和实质性贡献及与相关论文相比较后才能得出结论,绝不能用其他简略的评价完全替代精细的评价,更不能将简略的评价结果与职称评价、奖金、学术资源的分配等直接挂钩。 　学术质量的评价主要是指对评价对象的实质内容进行精细的评价,其核心是对创新能力的评价 　学术质量的评价最终依赖于时间和实践/社会的评价和检验。在有限时间和实践中所得出的评价结果具有相对性,绝不能将其绝对化,但也不能因其相对性而否认其合理性和必要性。目前关于创新力的评价指标大多为定性,主要通过同行专家的审读来直接测度。比如对文科论文的创新能力的评价,目前主要是通过同行专家对选题、综述、研究方法、观点(思想)、资料、论证、结论等方面有无、有多少新意来判断。目前较好的引文索引数据库、文摘数据库只能够具有部分的查新功能,远不能代替同行专家的直接判断。与会者认为,如何将同行专家的共识评价集中起来建立数据库(将定性评价转变为定量评价),如何共享不同阶段同行专家评价的成果,如何利用现代信息技术和网络技术增加评价的公开性、透明性,如何优化现存的引文索引数据库以提高同行专家评价的准确性和评价效率,是当前评价研究的关键课题。 　 评价研究的共识成果应立即转变成有关政策和措施,改进现行的学术评价办法,朝着健全良好的学术秩序和宽松的学术环境的正确方向迈出坚实的一步 　与会者认为,学术评价的根本目的是要建立健全良好的学术秩序和营造宽松的学术环境,以利于多出精品,多出人才,繁荣发展学术研究。经过认真的研讨形成的共识成果应能致用。例如,目前可以采取的措施就有:为了有力地遏制目前以数量评价代替质量评价的不良倾向,要淡化成果数量的要求,以利于形成宽松、从容、可以让学者心无旁骛的学术环境,为出精品提供充足的阅读、思考、交流、写作、评价(评价也算工作量,改变目前学者只顾自己写,不管或不愿评价他人成果的倾向)的时间和空间,先鼓励少而精,尔后再鼓励好而多;为了彻底遏制以行政权力干涉学术权力、以人情关系影响评价活动等问题,除了采取从制度层面厘清行政与学术权力的界限外,还可以根据不同的评价对象和评价目的,将精审同行专家的评价与广大同行的评价、社会评价等结合起来;取消以刊评文等只重形式不重研究成果质量就直接与奖金、资源密切挂钩的规定。（叶继元）
个人分类: 科研评价|4757 次阅读|2 个评论
科研评价、期刊评价与论文评价的互动关系
rbwxy197301 2009-2-13 14:15
最近读了 武夷山 老师的博文 写一篇高质量论文需要多长时间？ ，很有感触，也激发了我对科研评价、期刊评价与论文评价的互动关系这个问题的感悟，提出自己一些不成熟的看法，与大家分享。 　　科研评价的内容很广，这儿我想讨论的主要是指科研管理部门对科技人员在期刊论文产出方面的评价。 　　我们学校的科研管理制度当中，首先对论文发表所在学术期刊（报纸、论文集、增刊暂不考虑，下面未列出）进行了一个分类，具体依次分为：nature、science等十种期刊（都是国外权威学术期刊）；《求是》、《中国社会科学》、《中国科学》；《哲学研究》、《经济研究》、《管理世界》等十种期刊；《国外社会科学》等34种期刊；国家重点报纸杂志（安徽省教育厅核定）；一般国家级学术期刊；国内公开出版的期刊（含港澳台、除外语专业类报刊）中发表的外文学术论文以及已经列入CSSCI（《社会科学引文索引》）、CSCD（《中国科学引文数据库》）、CSCI（《中国科学引文索引光盘数据库》）来源期刊但不属于安徽省教育厅所确定的国家级刊物；一般省级学术刊物、港澳台公开出版的学术刊物（经当地主管部门批准）；被经批准且公开发行无纸质版的电子刊物；省级以上（含省级）新闻出版主管部门批准出版的内部刊物（不含内部资料）、被经批准且公开发行的无纸质版的电子刊物。不同级别上发表论文给予不同的科研积分，同时还在论文字数及被文摘类刊物转摘进行了限定和说明。 　　这个结果实际上参考了国内外有关学术期刊评价结果制定出来的。从这个角度来看，科研管理部门是通过科研人员论文发表的期刊级别来判定其成果的质量。期刊评价结果的合理性、科学性对科研人员评价结果的影响非常关键，它是对个人科研绩效评价的基础。其好处是操作性强，容易统计；大部分科研人员容易接受；评价结果的数据透明；评价成本低。 　　这种以刊论文评价会使高质量的论文分布呈现一个先国外、后国内；先重点、后一般的结果。一些科研人员的成果通过学术期刊传播时，在平衡权威性和时效性时偏向于前者，进而使一些科研成果不能及时传播。一般情况下，优秀学术期刊上的论文从投稿到正式发表时间较长。 　　这种评价常常是逐年来统计科研人员科研工作量的，可能会造成一种重数量，轻质量的结果。 　　这种评价模式对国内学术期刊发表的整体发展会有影响，一些好的学术期刊高质量的投稿会很多，而一般性的期刊为了自身的发展，从经济效益的角度考虑会发生以钱发文的现象。 　　总之，我觉得科研评价、期刊评价与论文评价是一个三角关系，相互影响和相互作用。其中科研评价是一个指挥棒，它常会影响科研人员向哪些期刊投稿；期刊评价是一个中介，它一方面为科研评价的一个基础；另外它也常常会决定和影响一篇论文的传播效果。论文评价是最底层，也是最重要的一环。只有能够对科研论文有一个科学的评价，才能提升学术期刊的质量，进而影响它的评价结果。这三者之间处于一个动态平衡的状态，一方面的改变通常会使另个两方面的情况发生变化。 　　最后，我想提出一个和大家一起思考的问题：我们为什么来写文章？
个人分类: 科研评价|4150 次阅读|3 个评论
更多...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-6-11 05:57

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部