不需要一个科学家通过难以置信的研究

可以没有训练的人在心理科学预测是否新研究将获得相同的结果,现有的社会科学研究?他们可以,特别是研究假设看上去有些可疑,但是,据一项新的研究在心理科学的方法和实践的进步。

新的研究由独立实验室未能复制许多来自社会科学文献的主要结论。这些失败都归因于可疑的个人研究实践和他人影响整个领域的问题,如发表偏倚(当决定发表一项研究取决于结果)和“出版或灭亡”在学术界流行的文化。最近,另一个因素与贫穷有关可复制性:难以置信的研究假设。

“如果先天不像真实的研究假设是指示性的复制成功,然后复制结果可以可靠地预测从假设的简要描述,“写苏珊娜设备,亚历山德拉Sarafoglou, APS的家伙Eric-Jan Wagenmakers(阿姆斯特丹大学)。先前的研究表明,个体与社会科学博士学位可以预测准确率高于随机复制的发现。作者着手了解外行(那些没有心理学博士学位或专业背景在社会科学)也有可能这样做。

为了解决这个问题,设备和他的同事们使用了亚马逊土耳其机器人在线平台,Facebook等社交媒体平台,他们的大学在线参与者池(一年级心理学学生)招募了257名参与者。27个研半岛体育官方网址入口究的研究人员向参与者展示描述,包括在两个大型协作复制项目:社会科学复制项目(Camerer et al ., 2018)许多实验室2项目(克莱因et al ., 2018)。27个研究,14日已成功复制,13没有。每个描述包括研究的假设,它是如何测试和发现的关键。description-plus-evidence条件还包括贝叶斯因子,这表明假设的证据的力量,和口头解释的(例如,“温和的证据”)。在阅读每一个描述,参与者表示他们相信这项研究是否会被复制成功。

参与者被准确预测59%的时候复制的基础上单独描述。description-plus-evidence条件,预测准确率上升至67%。

这些发现表明,“直观合理性的科学效应可能暗示他们的可复制性,“写设备和他的同事们。然而,“外行的预测不应等同于事实。“信号侦测分析表明,这些预测的一个原因是没有更准确的是,参与者往往是乐观的结果,包括研究可复制性。然而,分析还表明,参与者的精度高于随机并不是由于任何反应偏差,但反映的能力区分不同类型的信息。

综上所述,“结果直观的建议(即提供实证支持。,unsurprising) effects are more replicable than highly surprising ones, as replicable studies were in fact deemed more replicable than nonreplicable studies by a naive group of laypeople,” add the authors.

设备和他的同事建议,非专业人员的预测可能导致复制的研究——例如,通过帮助研究人员确定哪些观测效应是最不可半岛体育官方网址入口能复制,应该进一步测试。他们得出结论,“追求新闻价值,科学文化的极端,和性感的发现确实是有问题的,是违反直觉的发现是最不可能被复制成功。”

引用

卡默勒,c F。Dreber,。,Holzmeister, F., Ho, T. H., Huber, J., Johannesson, M., Kirchler, M., Nave, G., Nosek, B. A., Pfeiffer, T., Altmejd, A., Buttrick, N., Chan, T., Chen, Y., Forsell, E., Gampa, A., Heikensten, E., Hummer, L., Imai, T., . . . Wu, H. (2018). Evaluating the replicability of social science experiments in自然和科学在2010年和2015年之间。自然的人类行为,2(9),637 - 644。https://doi.org/10.1038/s41562 - 018 - 0399 - z

设备,S。,Sarafoglou, A., & Wagenmakers, E. J. (2020). Laypeople can predict which social-science studies will be replicated successfully.心理科学的方法和实践的进步。提前在线出版。https://doi.org/10.1177/2515245920919667

克莱恩,r。,Vianello, M., Hasselman, F., Adams, B. G., Adams, R. B., Jr., Alper, S., Aveyard, M., Axt, J. R., Babalola, M. T., Bahník, Š., Batra, R., Berkics, M., Bernstein, M. J., Berry, D. R., Bialobrzeska, O., Binan, E. D., Bocian, K., Brandt, M. J., Busching, R., . . . Nosek, B. A. (2018). Many Labs 2: Investigating variation in replicability across samples and settings.心理科学的方法和实践的进步,1(4),443 - 490。
https://doi.org/10.1177/2515245918810225