不可重复性:缺乏公认的定义有多严重?

不可重复性:缺乏公认的定义有多严重?

研究不可重复性 (irreproducibility) 最近迅速成为科学界最值得重视的问题,《自然》发布了一份调查,了解研究人员对这个议题的看法,大多数的研究人员都认为“不可复制危机的问题很严重”。虽然大家都认为危机确实存在,但却无法找到解决办法,主要的原因是不可重复这个词本身并没有公认的定义。不可重复性有不同的意思,有时候不同含义之间还会互相冲突。由美国国家医学图书馆 (States National Library of Medicine, NLM) 举办的会议中讨论了如何改善临床前研究的重复情况,其中遭遇到的问题就是不可重复性的定义不清,无法进行进一步讨论。

在谈到研究复制性时,reproducible 跟 replicable 这两个字经常会交换使用,reproducibility 的意思主要是研究结果能经过不同分析的考验,而 replication 则是尝试使用同样或是新的原始数据获得同样的结果。事实上,科学界专业人士对这些名词的意思有分歧的看法。

为了让意思更清楚,科研人员分别针对最常用的 reproducibility 和 replication 提出定义。What does research reproducibility mean? 一文的第一作者 Steven Goodman 就建议分成以下几个名词进行定义:

  • Method reproducibility:与 replication 一词相近,意旨提供详细的研究程序细节和数据,让同样的研究过程可以重复。
  • Result reproducibility:与研究方法重现有关,意旨“进行另外独立的研究,尽可能使用与原来的实验相同的程序获得一样的结果”。
  • Inferential reproducibility:与前两者不同,在 inferential reproducibility 中,研究人员可能会从不同的研究中获得一样的推论,或是使用原来的数据推断出不同的结论。因此 inferential reproducibility 指的是“从独立的重复研究中或是再次分析原先的研究,获得相似的定性结果”。

另外一个统一 reproducibility 定义的活动是由美国伊利诺伊大学数据科学家 Victoria Stodden 推动的,她将 reproducibility 分成

  • Empirical reproducibility:意旨提供所有实际重复和确认一实验的详细信息。Stodden 对这个词的定义跟 Goodman 定义的 methods reproducibility 相似。
  • Computational and statistical reproducibility:对 Stooden 来说,这个词指的是提供要重复一个研究的计算机或分析发现的必要资源。

随着关于重复性的讨论逐渐扭曲,美国细胞生物学学会 (American Society for Cell Biology) 的研究人员发表了一篇文章,其中抛弃了 reproducibility 一词,提出四种 replication

  • Analytic replication:重新分析原来的数据来重现研究结果
  • Direct replication:尝试使用与原来试验中提到的同样的条件、材料和方法重复实验
  • Systematic replication:使用不同的实验条件来重现研究发现,例如使用不同的细胞系或小鼠品种进行研究
  • Conceptual replication:证明一个概念的一般有效性,这其中可能包含使用不同的生物

显然,要明确地定义不可重复性没有那么简单,而且不同领域、主题甚至不同人可能都会有不同的看法。而不可重复性的核心还有缺乏透明度、没有接受培训的研究人员尝试重做复杂的实验、研究方法信息不完整等等问题。因此,清楚明示重复或重现有困难的研究的问题,还有定义重复或重现研究背后的用意,才是解决这些议题的关键。许多专家相信如果不可重复性有一致公认的定义的话就能能更容易解决这个问题了。任何已发表的研究的最终目标都是可以轻易让人研究、重复或采用。如果能抱持这个想法,研究人员就该分享数据,尽力做到透明,提供研究设计和研究方法的详细资料,如此才有可能避免所谓的不可重复危机。

 

意得辑专家视点推荐阅读

 

参考资料

期待学术生涯高歌猛进,发表过程一帆风顺?

来加入我们活力洋溢的在线社区吧。免费注册,无限阅览。

社交账号一键登入

已有54300名科研人员在此注册。

觉得有用?

如果是的话,和你的同事分享吧