博雅达观分享 http://blog.sciencenet.cn/u/hillside 思接地质年代,眼扫地球内外 …… 跋涉于水文水资源、地理科学、土地利用与规划、科学思辨、中外哲学

博文

《为何多数已发表研究有错》作者的续作《如何使更多研究更真实》

已有 9701 次阅读 2015-11-28 17:35 |个人分类:科研方法|系统分类:海外观察|关键词:学者

《为什么多数已发表研究有错》英文原文.pdf(John Ioannidis,2005.08)

《如何使更多的研究更加真实》英文全文.pdf(John Ioannidis,2014.10)

《针对“为什么多数已发表研究有错”的综述与讨论》英文(作者Dallas Card等,2014.12)

                                           ——《为何多数已发表研究有错》看来颇具批评性

                                      ——《如何使更多的发表研究更真实》应当富有建设性

                                       ——有无《如何使更多的发表研究更真实》的中文译文?

       据称,《为何多数已发表研究有错》(或译为“为何多数已发表研究是错的”、“为什么多数已发表研究有错”等)(Why Most Published Research Findings Are False?)一文的阅读量已在各类论文排名中名列前茅。王守业老师介绍,这篇文章已被查看了上百万次,被引次数超过了1400次。生物通网站曾以《多数已发表医学研究是错的》(见附1)介绍过这篇论文及其续作《如何使更多的研究更加真实》。不过,生物通网站的那篇首译文章有点莫名其妙、不伦不类:标题完全是旧的,声称内容是新的,结果内容似乎是以旧为主、不新不旧的杂烩(因为没有仔细看过旧文与新文,所以暂时不知新旧各占几成)。在标题上,英文原文并无“医学”二字,生物通自作主张地添加了“医学”限定语。生物通的《多数已发表医学研究是错的》是属于“打新广告、旧瓶装旧酒”的行径,对新作本身只是一语带过,并未作具体的说明。作者John Ioannidis尽管以医学为例,但标题确实是不含糊的《为什么多数已发表研究是错的》,他看来希望以小见大。

       这篇“续作”《如何使更多的(发表)研究更加真实》(How to Make More Published Research True?是《多数已发表研究是错的》作者2014年的作品。然而,这篇2014的论文似乎并未像《多数已发表研究有错》那样轰动与引人注目。《多数已发表研究有错》的中文全译已见诸两份中文期刊,而《如何使更多的研究更加真实》的汉译尚难见踪影。

       与《多数已发表研究有错》类似,医学中常有所谓“误诊病例汇编”,这也是一种很有意义的做法。

       我觉得,比起第1篇论文的批评性相比,第2篇论文也许更有建设性。对于不同的学科可能都有一些借鉴意义。

       标题中的“如何使研究更加真实”受字数所限有省略,全称宜为“如何使更多的已发表研究更加真实”(英文原标题为“How to Make More Published Research True?”)。

       附6与附7介绍的两份中文期刊先后发表了”为什么多数已发表研究有错“(或有译“为什么已发表的研究结果大多是错的”)一文的译作。然而,《如何使更多的研究更加真实》似乎尚未见到中文更多的介绍与全文译作。

       “Why Most Published Research Findings Are False?“的汉译大致可有三种程度不等的译法:1.“为什么已发表的研究结果大多是虚假的”;2.“为什么已发表的研究结果大多是错的”;3.“为什么已发表的研究结果大多有错?”。第1种有点严重,第2种错误较多,第3种则是错误可大可小。

       “How to Make More Published Research True?”的汉译我也有几次反复,现在的《如何使研究更加真实》也只是意译,直译似乎应为“《如何使更多已发表研究变得真实》”。一开始翻译成“如何使更多研究更加真实”,后来考虑活泼、风趣一些,改为“如何使更多研究更加写真”。用“写真”又觉着学术上不太严谨,遂改回“如何使更多研究更加真实”。再瞧瞧,John Ioannidis的前文《Why Most Published Research Findings Are False?》中的“False”已被译作“错误”,与“错误”相对的往往是“正确”。因为“真实”的反义词常用“虚假”,而汉语“虚假”的贬损意味一般强于“错误”。不过,“如何使更多研究更加正确”似乎也正确得有点可怕。我一时也无成熟想法,欢迎有兴致的博友提出自己对“How to Make More Published Research True?”的汉译。

       写作本文的动机与博友许培扬老师介绍《多数已发表研究是错的》的博文及王守业老师对许培扬老师博文的评论中提供的《如何使更多的研究更加真实》的英文原文链接有关。

       博友qzw发表评论“应该说许多学科已发表研究都有错,包括物理,力学等学科,不仅是医学。”,我正好阐发一点感想,生物通网站将”多数已发表研究是错的“狭解成“多数已发表医学研究是错的”,在传播过程中可能会造成一些误会,以为John Ioannidis原作的标题就是“多数已发表医学研究是错的”。我想,知识的传播就是一个交流、纠错以至逼近真相的过程。

       最后,我很知道,网络或网友心中有无《如何使更多研究更加真实》的更多中文介绍。附10“心理学家如何挑战科学研究中的行为偏差”一文穿插引用了《如何使更多研究更加真实》的零星内容,比如“据估计,85%的研究资源就这样白白浪费掉了。”因为一时搜索不到相关的内容,我对《如何使更多的研究更加真实》一文的摘要进行了试译。

                                                         《如何使更多的研究更加真实》摘要

                                              (陈昌春翻译,本译中有一些硬译与生涩,还望指正)

1.目前,许多已发表的研究结果是虚假的或夸大的,估计有85%的研究资源被浪费了。

2.为使更多的研究成果更真实,在特定领域中使用的改善可信度与有效性的做法可以移植到其他领域,可以使之借鉴与受益。这些做法包括大规模合作研究的可能性、复制文化、注册、共享、再现性实践、更好的统计方法、规范化的定义和分析、更恰当的(通常更严格的)统计阈值,以及在研究设计标准、同行评审、报告和科学传播及科研工作者的培训进行改进。

3.强化与选择合适的干预措施,改善科研实践活动,在一切可行的情形下采用更严格的检查措施与实验测试。

4.最佳的干预措施包括了解和掌握对科研活动有控制权力的各种资助者、利益相关人的想法。他们在促进出版、提供资助、推动转变、收获利益等方面有不同的愿望与动机。

5.需要修改有关科学奖励、流通汇率(如,出版费用、资助款项)、购买学术性成果(如,促进学术权力、管理权力等)机制,引入更好地分配进行转换研究与再现研究的资金。

附1:http://www.ebiotrade.com/newsf/read.asp?page=20141021171212760

                                                          大多数已发表的医学研究都是错的?

                                                    2014年10月22日  生物通 www.ebiotrade.com

    在十年前,也就是2005年的时候John Ioannidis在PLOS Medicine杂志上发表了一篇标志性文章(陈昌春注:此处应指《大多数已发表的医学研究都是错的?》),论述了大部分发表的研究发现都是错误的,这篇文章被查看了超过百万次。今年为了纪念PLOS Medicine杂志十周年,这位作者又发表新文章回答之前的挑战,指出了如何才能改变这种现状。

     生物通报道:在十年前,也就是2005年的时候John Ioannidis在PLOS Medicine杂志上发表了一篇标志性文章,论述了大部分发表的研究发现都是错误的,这篇文章被查看了超过百万次。今年为了纪念PLOS Medicine杂志十周年,这位作者又发表新文章回答之前的挑战,指出了如何才能改变这种现状。

文章指出,包括医学研究在内的科研成果大多数都存在一定范围的偏见,这也就是说有时为了追求发表论文,研究人员发表了误导或无用的工作成果,而忽视了有价值的研究工作。学术生涯中的风险和回报,同行评审期刊的结构和习惯,以及大学和研究机构工作的方式都会影响科学家们科研工作的开展,干扰他们的选题,工作方式,以及最终应用到临床上的成果。

     作者认为一些荒谬的激励机制会令科学家们浪费时间生成和发表错误和无用的结果,了解这些激励措施,并改变这些措施也许能重新塑造研究模式,提高医学科研水平。

     Ioannidis发表这篇颇具挑衅性个人观点的文章,是为了刺激读者思考目前他们的研究工作,重新定位自己的位置。他也描述了一些成功的做法,并提出学术结构能通过改变这些现状获得更多的益处。

   “今天我们所取得的科学成就是惊人的,但是大部分研究工作被浪费了,”Ioannidis说。他呼吁改变监督措施,用以改善目前科学研究的结构。这位来自斯坦福大学的流行病学家,今年还在PLoS One杂志上发表文章,发现美国不到1%科学家每年发表论文。他与同事Kevin Boyack和Richard Klavans使用爱思唯尔的斯高帕斯数据库,分析了1996年至2011年间全世界1500万位科学家出版的论文,这些论文涉及数个学科。

     在那些每年发表超过1篇论文的科学家中,随着论文数量的增加,科学家的数量在锐减:2篇或更多,68221人;3篇或更多,37953人;4篇或更多,23342人;5篇或更多,15464人;10篇或更多,3269。

     在这些多产的科学家中,很多人是实验室或研究小组的负责人,他们负责筹集经费、监督研究,最终将自己的名字加入到产出的论文中。Ioannidis表示,另一些人可能是自己有充足工作保障和时间进行各种研究。在很多学科中,大量招入的博士生成为廉价劳动力。这些学生可能花费数年进行研究,但只产出了1篇或很少的论文。在这些案例中,该研究体系可能利用了数百万年轻科学家的工作。         (生物通:张迪)

附2:http://blog.sciencenet.cn/blog-280034-837589.html(许培扬老师博客)

                                                                 大多数已发表的医学研究是错的

                                                                            2014-10-22

   在十年前,也就是2005年的时候John Ioannidis在PLOS Medicine杂志上发表了一篇标志性文章,论述了大部分发表的研究发现都是错误的,这篇文章被查看了超过百万次。今年为了纪念PLOS Medicine杂志十周年,这位作者又发表新文章回答之前的挑战,指出了如何才能改变这种现状。

   文章指出,包括医学研究在内的科研成果大多数都存在一定范围的偏见,这也就是说有时为了追求发表论文,研究人员发表了误导或无用的工作成果,而忽视了有价值的研究工作。

学术生涯中的风险和回报,同行评审期刊的结构和习惯,以及大学和研究机构工作的方式都会影响科学家们科研工作的开展,干扰他们的选题,工作方式,以及最终应用到临床上的成果。

   作者认为一些荒谬的激励机制会令科学家们浪费时间生成和发表错误和无用的结果,了解这些激励措施,并改变这些措施也许能重新塑造研究模式,提高医学科研水平。

《大多数已发表的医学研究是错》中文介绍的链接:http://www.ebiotrade.com/newsf/read.asp?page=20141021171212760 

[4]王守业  2014-10-22 09:40网上查了一下,这篇文章果然被查看了上百万次,被引次数超过了1400次,网址:http://www.plosmedicine.org/article/info%3Adoi%2F10.1371%2Fjournal.pmed.0020124
最新文章的标题为:How to Make More Published Research True
http://www.plosmedicine.org/article/info%3Adoi%2F10.1371%2Fjournal.pmed.1001747

博主(许培扬)回复(2014-10-22 11:15)十分感谢王教授提供的原文信息,方便大家阅读。

附3:http://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124 

                                   Why Most Published Research Findings Are False?

                                                           John P. A. Ioannidis

                                                        Published: August 30, 2005

                                                                   Abstract

                                                               Summary

There is increasing concern that most current published research findings are false. The probability that a research claim is true may depend on study power and bias, the number of other studies on the same question, and, importantly, the ratio of true to no relationships among the relationships probed in each scientific field. In this framework, a research finding is less likely to be true when the studies conducted in a field are smaller; when effect sizes are smaller; when there is a greater number and lesser preselection of tested relationships; where there is greater flexibility in designs, definitions, outcomes, and analytical modes; when there is greater financial and other interest and prejudice; and when more teams are involved in a scientific field in chase of statistical significance. Simulations show that for most study designs and settings, it is more likely for a research claim to be false than true. Moreover, for many current scientific fields, claimed research findings may often be simply accurate measures of the prevailing bias. In this essay, I discuss the implications of these problems for the conduct and interpretation of research.

附4:http://blog.sciencenet.cn/blog-280034-837671.html

                                           美国斯坦福大学John Ioannidis教授的学术贡献

5:http://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.1001747 

                        《如何使更多的研究更加真实》英文原文链接(全文下载链接亦可见本文第1行)


                                               How to Make More Published Research True?

                                           John P. A. Ioannidis   Published: October 21, 2014

                                                                      Summary Points

   Currently, many published research findings are false or exaggerated, and an estimated 85% of research resources are wasted.

   To make more published research true, practices that have improved credibility and efficiency in specific fields may be transplanted to others which would benefit from them—possibilities include the adoption of large-scale collaborative research; replication culture; registration; sharing; reproducibility practices; better statistical methods; standardization of definitions and analyses; more appropriate (usually more stringent) statistical thresholds; and improvement in study design standards, peer review, reporting and dissemination of research, and training of the scientific workforce.

   Selection of interventions to improve research practices requires rigorous examination and experimental testing whenever feasible.

Optimal interventions need to understand and harness the motives of various stakeholders who operate in scientific research and who differ on the extent to which they are interested in promoting publishable, fundable, translatable, or profitable results.

   Modifications need to be made in the reward system for science, affecting the exchange rates for currencies (e.g., publications and grants) and purchased academic goods (e.g., promotion and other academic or administrative power) and introducing currencies that are better aligned with translatable and reproducible research.

附6:http://wenku.baidu.com/link?url=uaipBDi09wdTevFp00U2O5MH7dhK0MnCXjbpfn8nHe6kdAlCEBwoSd5CI0KsevvmZVLmtnhmOz4nozCiG1C4cuoCBgYwgkS-V_6CRwoXyAS 


附7:http://www.cnki.com.cn/Article/CJFDTotal-KCGC200604001.htm

                                                      为何已发表的研究结果大多是错误的

                                    John P.A.Ioannidis  孙菲  胡良平 《科学观察》 2006年04期

【摘要】:多数发表的科研结果都是错误的,这一观点受到越来越多的关注。科研成果正确与否取决于多种因素,如:研究的把握度和偏倚,研究同一问题的小组数量,更重要的是研究所得的“真实关联”与“无关联”的比率。如果研究规模较小,效应尺度较小,被测关联的数量较大而预选量较少,设计、定义、结局和分析方式的灵活性越大,过多考虑财政和其他利益等都会减小研究成果的真实几率。对多数科研领域而言,研究成果仅仅是对主要偏倚的精确估量。

附8:http://www.nature.com/news/over-half-of-psychology-studies-fail-reproducibility-test-1.18248

    http://blog.sciencenet.cn/blog-39359-919365.html

    http://blog.sciencenet.cn/blog-41174-916523.html

                            Over half of psychology studies fail reproducibility test

             Largest replication study to date casts doubt on many published positive results

                                                              Monya Baker, 27 August 2015

                                                                  超半数心理学研究成果不靠谱

                                                                          2015-9-8 13:24

   斯坦福大学的元研究创新中心负责人约翰·约安尼季斯曾认为,超过一半的医学研究成果都是夸大或错误的,现在他表示,心理学研究的存疑比率比他想象的要大。他说,其他领域的问题可能还要严重,包括细胞生物学、经济学、神经学、临床医学和动物研究等。

   报道称,眼下各学科撤回已发表论文的数量都在大幅上升。科学家说,科学界现在存在一种超竞争的文化,新奇好玩的研究结果会更受欢迎,与此同时又缺少鼓励研究人员验证其他人的发现或者让期刊刊登不引人注目的研究成果的激励环境。

附9:http://article.yeeyan.org/view/203390/168474 

你听到的医学信息几乎全是错的,为什么?埃尼迪斯,斯坦福大学的预防医学研究中心的新长官,把自己定位为医学研究方面的“顶级流言终结者”,堪称美国医学领域的的“方舟子”,致力于清理医学研究中的错误结论。

                                       Why Almost Everything You Hear About Medicine Is Wrong.

                                                为什么你听到的医学信息几乎全是错的?

                                                      by Sharon Begley  January 24, 2011

                                            作者:莎伦·贝格立 2011-01-24    译者: 七郎·刘  

   如果你追随健康研究的新闻,那么你危险了。先是说大蒜能够降低有害的胆固醇,然后,经过更多的研究,他们说不能。先说激素替代可以减少绝经妇女患心脏疾病的危险,然后经过大量的研究发现完全不是那么回事(反而会增加患乳癌的危险)。上星期他们又有报告,关于吃一顿丰盛早餐能或者不能削减每日摄取的卡路里。尽管生物学研究的结论是如此反复无常,可我们还是会盲目的相信它。

   ......即使粗略的浏览一下医学期刊,就会发现很多前卫的研究一个个的倒在路边。1993年的两个研究结论认为维他命E可以预防心血管疾病,该结论在1996年和2000年被更严谨的实验所推翻。1996年的一个研究结论说雌性激素疗法可以减少老年痴呆症的风险也在2004年被颠覆。很多研究所得到的关于流行的抗抑郁药物通过改变脑化学起作用的结论也被否定(药物缓和抑郁,如果起作用则是因为安慰剂效果),以及研究主张早期癌症诊断(PSA测试)总能够挽救生命等等,失败的案例不胜枚举。

   ......尽管埃尼迪斯的指责充满了火药味,但他和1500名科学家展开了合作,而且,斯坦福大学和他的缩影(预防医学研究中心),在八月份雇佣了他,让他掌管整个预防医学中心。“医学的本质是为患者和医生提供证据,”斯坦福医学系主任拉尔夫·霍维兹说,“约翰(埃尼迪斯)是生物医学的革新思想者,所以他天生就是我们所需要的人物。”

附10:http://read.haosou.com/article/?id=20c9e99ac6b5523ff7b3f3d80c8d4231 

                                                  心理学家如何挑战科学研究中的行为偏差

                                                          来自:机器之心 2015年07月02日 10:31

   本文来源Nautil.us,作者PHILIP BALL,机器之心翻译出品,参与成员:汪汪、张之乎、镜子心理、赵赛坡。

   有时候,现实里发生的一些事真的像科幻小说那样令人大跌眼镜。2005年,一篇论文震惊了整个医学界。这篇论文的题目甚为惊世骇俗——「为什么大多数已发表的研究成果都是错误的?」这篇文章的作者是斯坦福大学的医学教授John Ioannidis。文中并没有特指任何一个研究的谬误之处,而是指出,这些已经发表的研究成果所得出的统计规律与它们可能发生的概率并不相符。「许多已发表的研究成果都是错误的,或者夸大其词。据估计,85%的研究资源就这样白白浪费掉了。」



https://m.sciencenet.cn/blog-350729-939440.html

上一篇:博主丁裕国教授论文选集及学术新著出版——丁老师辞世三周年纪念
下一篇:为何博文编辑器中明明“段首空两格”,点击发表后时常仅空一格?

3 许培扬 赵斌 qzw

该博文允许注册用户评论 请点击登录 评论 (4 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-20 10:22

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部