editage的个人博客分享 http://blog.sciencenet.cn/u/editage

博文

不可重复性:缺乏公认的定义有多严重? 精选

已有 5685 次阅读 2020-3-20 10:06 |个人分类:科研影响力和研究质量|系统分类:论文交流|关键词:学者| 科研, 学术, 论文, 发表, 期刊

image.png

研究不可重复性 (irreproducibility) 最近迅速成为科学界最值得重视的问题,《自然》发布了一份调查,了解研究人员对这个议题的看法,大多数的研究人员都认为“不可复制危机的问题很严重”。虽然大家都认为危机确实存在,但却无法找到解决办法,主要的原因是不可重复这个词本身并没有公认的定义。不可重复性有不同的意思,有时候不同含义之间还会互相冲突。由美国国家医学图书馆 (States National Library of Medicine, NLM) 举办的会议中讨论了如何改善临床前研究的重复情况,其中遭遇到的问题就是不可重复性的定义不清,无法进行进一步讨论。

在谈到研究复制性时,reproducible 跟 replicable 这两个字经常会交换使用,reproducibility 的意思主要是研究结果能经过不同分析的考验,而 replication 则是尝试使用同样或是新的原始数据获得同样的结果。事实上,科学界专业人士对这些名词的意思有分歧的看法。

为了让意思更清楚,科研人员分别针对最常用的 reproducibility 和 replication 提出定义。What does research reproducibility mean? 一文的第一作者 Steven Goodman 就建议分成以下几个名词进行定义:

  • Method reproducibility:与 replication 一词相近,意旨提供详细的研究程序细节和数据,让同样的研究过程可以重复。

  • Result reproducibility:与研究方法重现有关,意旨“进行另外独立的研究,尽可能使用与原来的实验相同的程序获得一样的结果”。

  • Inferential reproducibility:与前两者不同,在 inferential reproducibility 中,研究人员可能会从不同的研究中获得一样的推论,或是使用原来的数据推断出不同的结论。因此 inferential reproducibility 指的是“从独立的重复研究中或是再次分析原先的研究,获得相似的定性结果”。

另外一个统一 reproducibility 定义的活动是由美国伊利诺伊大学数据科学家 Victoria Stodden 推动的,她将 reproducibility 分成

  • Empirical reproducibility:意旨提供所有实际重复和确认一实验的详细信息。Stodden 对这个词的定义跟 Goodman 定义的 methods reproducibility 相似。

  • Computational and statistical reproducibility:对 Stooden 来说,这个词指的是提供要重复一个研究的计算机或分析发现的必要资源。

随着关于重复性的讨论逐渐扭曲,美国细胞生物学学会 (American Society for Cell Biology) 的研究人员发表了一篇文章,其中抛弃了 reproducibility 一词,提出四种 replication

  • Analytic replication:重新分析原来的数据来重现研究结果

  • Direct replication:尝试使用与原来试验中提到的同样的条件、材料和方法重复实验

  • Systematic replication:使用不同的实验条件来重现研究发现,例如使用不同的细胞系或小鼠品种进行研究

  • Conceptual replication:证明一个概念的一般有效性,这其中可能包含使用不同的生物

显然,要明确地定义不可重复性没有那么简单,而且不同领域、主题甚至不同人可能都会有不同的看法。而不可重复性的核心还有缺乏透明度、没有接受培训的研究人员尝试重做复杂的实验、研究方法信息不完整等等问题。

因此,清楚明示重复或重现有困难的研究的问题,还有定义重复或重现研究背后的用意,才是解决这些议题的关键。

许多专家相信如果不可重复性有一致公认的定义的话就能能更容易解决这个问题了。任何已发表的研究的最终目标都是可以轻易让人研究、重复或采用。如果能抱持这个想法,研究人员就该分享数据,尽力做到透明,提供研究设计和研究方法的详细资料,如此才有可能避免所谓的不可重复危机。


抗击肺炎,意得辑在行动 —— 免费论文服务公益活动

活动时间:2020.2.5日-4.30日
活动内容:凡涉及新型冠状病毒研究的论文,意得辑免费提供翻译、润色、图片优化服务
服务内容:标准润色、专业论文翻译(免费)
活动条件:文章主题必须与2019年新型冠状病毒(2019-nCoV)相关; 它的起源和传播; 治疗药物;健康(身体及精神)状况; 以及社会、经济、政治、行政/政府成果。只提及或比较不同病毒/疫情/流行病的研究将不适用。适用于文稿字数在4000英文单词以内或8000中文字数以内。

点击查看官网



https://m.sciencenet.cn/blog-769813-1224389.html

上一篇:科研人员撰写期刊论文时常犯的错误
下一篇:我与导师二三事

4 杨正瓴 黄永义 闻宝联 胡大伟

该博文允许注册用户评论 请点击登录 评论 (3 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-5-18 15:55

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部