为什么说要该当个“存疑精神”的科学家

【本文经 Tim van der Zee 许可改编，原文发表在他的博客上。】

不要误解我的话，但身为科学家必须要有“存疑精神”。

不要满足于困难问题的简单答案

不要轻信表面看起来正确的信息

也不要轻易相信你读到的研究中所得出的结论，因为它看起来好像是对的

Geoff Norman 说：我人生中的某些黑暗时刻，我可以说服我自己教育的所有主张是——

(a) 源自没有证据的来源（成人学习理论）

(b) 尽管有相反证据依然坚持自我（学习方式、自我检测技巧）或是

(c) 超过既存证据的支持范围

科研文献总是有偏见的。阳性结果大量发表，而阴性或无效研究结果在角落生灰尘^1,2，这种偏见从什么论文被投出去到什么论文被发表等许多层级都存在^3,4。换句话说，这诱使科研人员（有意或无意地）提出有问题的研究方法，例如做了很多统计检验，但只报告“成功”的那几个，这也称作 p 值操纵 (p-hacking)⁵。还有，科研人员经常对自己的研究结果提供带偏见的阐释⁶，例如，有将近 28% 的引用都是错的或是有误导性，这些通常都不会被发现，因为大部分的读者都不会检查参考文献⁷。

当然不止这样，需要事先注册 protocol 的研究，如临床试验，通常都是源自没有报告结果或私自添加新结果的 protocol⁸，这些改变都有迹可循，但通常都偏向报告正面影响，隐藏负面影响⁹。不是只有临床试验这样，一般的已发表论文也经常含有不正确报告的统计，其中有 35% 是会直接影响结论的严重错误^10,11,12。来自有产业介入的作者的 meta 分析大量被发表，但却没有报告注意事项¹³。而且，如果原来的研究本身质量不高，meta 分析并没有神奇的方法改变这件事（也就是garbage in, garbage out 理论）。这些研究素质低下的其中一个原因是缺乏对照组，或是更误导人的：不适当的对照组，有可能错误地带出安慰剂效应和其他已经被排除的解释¹⁴。要注意，这些问题不仅限于定量研究或（半）实证主义范式，从更自然的角度来看，与定性研究一样有关。

每个人都会说谎

问题还可以继续列举，但重点已经出来了：每个人都会说谎。在现有的体系中，说谎和误导不是那么单纯，是被诱发的。这有一部分可能是因为强烈偏好阳性发现的美好愿望的发表体系。除了发表体系中存在的这些诱因外，研究人员当然也是关键，不过，比较诡异的地方在于这也有部分存在许多领域，尤其是那些没有“技术证明”的，举例来说，如果你声称可以改善智能手机，你可以直接去做。但像心理学领域就不太可能直接实现。变数通常都是潜在的，不能直接观察到。衡量也都是间接的，即便有测出结果通常也没有办法证明它们实际上衡量了什么。

不好的诱因并不会一夜消失，人们通常抗拒改变。虽然有很多人在努力奋战，想要改善科学，但要看见成果，不是一条看不见尽头的路程，也会是一条漫漫长路。

现在呢？

这个观察是否太过愤世嫉俗？或许。但不管是不是，最重要的是我们都该小心。怀疑我们所读到的信息，甚至也要怀疑我们自己做的事、我们做的研究。

这或许是我开始写博客的主要原因：大部分的时候我都是错的。但我想要进步，随着时间过去错得少一些，而我们需要彼此才能做到，因为要愚弄一个人太过简单。

让我们都当个有“存疑精神”的科学家。

当我们变成更好的科学家。

参考资料

1. Dwan, K., Gamble, C., Williamson, P. R., & Kirkham, J. J. (2013). Systematic review of the empirical evidence of study publication bias and outcome reporting bias—an updated review. PloS one, 8(7).
2. Franco, A., Malhotra, N., & Simonovits, G. (2014). Publication bias in the social sciences: Unlocking the file drawer. Science, 345(6203), 1502-1505.
3. Coursol, A., & Wagner, E. E. (1986). Effect of positive findings on submission and acceptance rates: A note on meta-analysis bias. Professional Psychology: Research and Practice, 17(2), 136-137
4. Kerr, S., Tolliver, J., & Petree, D. (1977). Manuscript characteristics which influence acceptance for management and social science journals. Academy of Management Journal, 20(1), 132-141.
5. Head, M. L., Holman, L., Lanfear, R., Kahn, A. T., & Jennions, M. D. (2015). The extent and consequences of p-hacking in science. PLoS Biol, 13(3).
6. Brown, A. W., Brown, M. M. B., & Allison, D. B. (2013). Belief beyond the evidence: using the proposed effect of breakfast on obesity to show 2 practices that distort scientific evidence. The American journal of clinical nutrition, 98(5), 1298-1308.
7. Van der Zee, T. & Nonsense, B. S. (2016). It is easy to cite a random paper as support for anything. Journal of Misleading Citations, 33(2), 483-475.
8. http://compare-trials.org/
9. Jones, C. W., Keil, L. G., Holland, W. C., Caughey, M. C., & Platts-Mills, T. F. (2015). Comparison of registered and published outcomes in randomized controlled trials: a systematic review. BMC medicine, 13(1), 1.
10. Bakker, M., & Wicherts, J. M. (2011). The (mis) reporting of statistical results in psychology journals. Behavior Research Methods, 43(3), 666-678.
11. Nuijten, M. B., Hartgerink, C. H., van Assen, M. A., Epskamp, S., & Wicherts, J. M. (2015). The prevalence of statistical reporting errors in psychology (1985–2013). Behavior research methods, 1-22.
12. Nonsense, B. S., & Van der Zee, T. (2015). The reported thirty-five percent is incorrect, it is approximately fifteen percent. The Journal of False Statistics, 33(2), 417-424.
13. Ebrahim, S., Bance, S., Athale, A., Malachowski, C., & Ioannidis, J. P. (2015). Meta-analyses with industry involvement are massively published and report no caveats for antidepressants. Journal of clinical epidemiology.
14. Boot, W. R., Simons, D. J., Stothart, C., & Stutts, C. (2013). The pervasive problem with placebos in psychology why active control groups are not sufficient to rule out placebo effects. Perspectives on Psychological Science, 8(4), 445-454.
15. Collier, D., & Mahoney, J. (1996). Insights and pitfalls: Selection bias in qualitative research. World Politics, 49(01), 56-91.
16. Golafshani, N. (2003). Understanding reliability and validity in qualitative research. The qualitative report, 8(4), 597-606.
17. Sandelowski, M. (1986). The problem of rigor in qualitative research. Advances in nursing science, 8(3), 27-37.