科学的短板:不可重复性

科学的短板:不可重复性

研究不可复制的情况是不是幻影?研究复制失败的案例经常变成遗忘的一角,不被科研界所知。大量的科研发现无法重现成为科学的短板,需要被重视。

根据先前发表的报告,美国生物领域无法复制的研究每年的花费高达 280 亿美元。虽然全球在研究和开发的投资逐年增加,但无法复制的问题已经成为资助者、单位和研究人员在进行 R&D 投资时争论的焦点。大部分的领域都面临了这个问题,看起来具有突破性的研究却无法被其他研究团队复制,这在宇宙学、心理学、医学和遗传学领域特别严重。瑞典斯德哥尔摩大学宇宙粒子物理学 Oskar Klein 中心 (Oskar Klein Centre for Cosmoparticle Physics) 的天体粒子物理学教授 Jan Conrad 就说:「我的同事以前(看到突破性研究)会很兴奋,现在只会摇摇头,开玩笑地说:『又一个暗黑候选研究。』

研究发现无法复制不只是经济上的问题,也可能对科学的了解带来不利的影响。虽然像 STAP 细胞研究这类骗人的研究发现会被撤稿,但大部分的时候错误的数据导致无法复制的研究还是会继续被引用。一个无法复制的研究可能是以好几个假设为基础,最后可能会引发骨牌效应,影响某个领域内对某个面向的料及。

研究通常是医疗保健政策的根据,无法复制的研究结果可能会危害国民健康,失去人们对科学的信任。最近一个普及影响大众的案例,是 90 年代后期在肯尼亚发生的研究,研究表示幼童除虫能改善在学校表现还有整体健康状况。该研究发表于 2004,有很多发展中国家推行了大规模的除虫计划,英国流行病学家在十年后想要复制这个研究结果,结果发现这个研究有很多问题。从这个时间,我们可以知道无法复制的研究可能会破坏人们对科学的信任。

研究无法复制的背后原因有很多,但最核心的问题是研究人员面对的发表压力。突破性的研究能发表到高影响因子的期刊,提高申请到基金的机会,这些都导致研究人员在没有确认研究精确度前,就开始大肆宣传自己的发现。《Why Most Published Research Findings Are False》论文作者,斯坦福大学医学院健康研究与政策教授John Ioannidis 认为,大部分的研究人员都落入“数据挖掘”(date dredging) 的陷阱,当初步假设不成立时,研究人员会从数据中找出“看起来可以写成故事”或“数据中的爆点”,他们认为这些数据具有显著性,将他们的研究构建在这些统计不精确的信息上。因此毫无意外的,其他忽略这些统计问题的研究人员无法重现研究发现。

科研人员在同行评审前,通过新闻稿或上传预印本公开宣传研究发现,这个的趋势也是造成无法复制或无法重现的研究结果扩散出去的原因,一个著名的例子是引力波证据。Conrad 评论道:「放上 arXiv 的不正确的文章带来不相关的结果,形成干扰。资助者的决策偏倚,理论学家浪费许多时间设计说明,公众被新闻报道误导。」科研人员为了在竞争中保持领先,确保自己的位置,在研究发现还不够成熟的时候公布结果,最后发现研究有瑕疵。

对这个现象有没有什么破解办法?如果科学界和研究界的主要人士能够共同努力抑制不可复制的情况,或许有可能。研究人员需要注意在做研究时可能遇到的陷阱,导致错误的研究发现,比如大数据可能带来的挑战。有些研究人员也建议将复制至少一个其他博士生擅长的研究列为博士生教育的必要项,让他们更了解研究透明度和可复制性的重要性。

另一个确保科研精确度的方法是每个领域都有自己的实验方法或准则供研究人员参考。像是 Conrad 建议可以要求物理学家遵守 5-sigma (或等值)的规则,重申他们的研究发现。为了引起他人的注意,在线分享论文是很常见的做法,应该也要有相关的规则来确保研究质量。那些看起来显著的研究发现应该要附上审稿人姓名,这样也可以反过来督促严格的同行评审,阻止未经证实的发现过早公开。

期刊和出版商也加入破解不可复制性的行列。许多期刊现在都会要求作者投稿时要提供数据,让其他人可以复制或重新分析。有些顶级期刊如 Nature 和 Science 以及主要出版商形成共识,形成一套鼓励研究透明度和可复制性的规则。Science Exchange 为了进一步打击研究不可复制的情况,推行了 Reproducibility Initiative,希望独立验证复制 50 个最有影响力的癌症研究。

科研界掀起一股解决不可复制性问题的浪潮,但有些专家也提出警告,就算是可以复制的研究也不等于正确的科学,约翰·霍普金斯大学公共卫生学院生物统计系副教授 Roger Peng 就表示:「一定要记住,可以成功复制的研究还是有可能是错的。我这边说的“错”,指的是研究声称的东西或是结论可能是错的。」对 Roger Peng 来说“可复制性的重要性在于它是唯一一个调查人员能保证研究的方法”。

可复制性是科学的核心,也是复杂的参数。不管特定的研究发现是否能够重现,都能在不经意间带来我们对科学进一步的了解。因此科学界应该致力提高研究可复制性,带来研究透明。

期待学术生涯高歌猛进,发表过程一帆风顺?

来加入我们活力洋溢的在线社区吧。免费注册,无限阅览。

社交账号一键登入

已有54300名科研人员在此注册。

觉得有用?

如果是的话,和你的同事分享吧