一年的再现性措施:复制革命率先行动

忠实地坚持科学的方法是非常核心的心理调查。它需要科学家们热情地冷静,非常感兴趣的科学问题但不执着于答案。亲自问,科学家不认同他们过去的工作或理论——甚至那些承担他们的名字——所以,科学作为一个整体可以寸接近照明难以捉摸的真理。

合规并不那么容易。但那些冠军所谓复制心理科学革命相信这是可能的——正确的结构改革和个人奖励。

新兴领袖心理再现性聚在一起在2014年在旧金山APS年会,讨论当前的努力制定这种文化最终转向更加开放和更可靠的方法进行科学研究。

芭芭拉·a·首位,弗吉尼亚大学的法律教授和编辑心理科学观点,帮助促进所谓复制革命。“革命”这个词在科学背景下有一些内涵,但首位相信它开发了更多的政治革命,与新兴技术的进步使科学界最后解决偏见和方法论的问题已存在多年。

复制的首位解决一些常见的批评,从迫害和欺负的感觉更夸张的麦卡锡主义的指控,这揭示了个人条款的科学家与他们的研究和复制的看法革命者必须挑战和克服。下一步在“革命的发展”作为首位调用它,因此是改变我们的程序来鼓励复制和可靠可归纳的结果。

与会者一致认为,这些变化都迫切需要在当前的学术环境,这让事业成功和科学事实相左。APS的布莱恩·a . Nosek,弗吉尼亚大学心理学副教授所说,“我成功的激励作为一个科学家专注于我出版的行动,而不是我。”

这种思想研究的结果的价值凌驾于科学本身的质量,高级研究员克里斯·钱伯斯说在认知神经科学在英国卡迪夫大学心理学学院的。关注结果,而不是方法必然会引发问题,如发表偏倚,p黑客,“笔”(假设后结果是已知的,或提出一个事后的假设就好像它是一个先天的),和其他瘟疫不成功便成仁的环境。钱伯斯是明确的评价这一前景的后果。

“那一刻我们法官个人的科学和科学家的质量基于他们生产的结果,”他说,“我们谴责自己成为软科学,我们自我破坏能力发现真理。”

帮助改变科学家对质量的关注的问题和方法用于生成答案,钱伯斯开始为《华尔街日报》编辑注册报告皮质2013年,现在和其他几个期刊发表论文以类似的格式。bd体育在线app下载安卓这些包括心理科学观点,介绍了其注册复制报告倡议在2013年。

在这种新型的文章中,研究人员把他们的假设,实验,分析之前收半岛体育官方网址入口集任何数据。这项研究计划,包括完整的介绍和方法部分,然后接受同行审查类似传统的同行评议过程最后的手稿,在审稿人决定是否精心设计和well-powered拟议的研究。如果审查的结果是积极的,作者收到的日前接受《华尔街日报》,几乎保证发表最后的手稿,不管学习的结果。作者收集数据后,运行分析,并编写了结果与讨论部分,手稿经历第二轮同行审查。除非任何偏离的问题协议,然后发表,包括任何不支持的假设,p值超过0.05,和其他人的结果不是传统上被认为是小说或有效的。

重新关注过程结果将不仅解决偏见在出版,它也会使心理科学作为一个领域,以解决严重的方法论的缺陷,渗透到当今的研究环境。其中最普遍的问题之一是重要但低功耗的患病率发现,本世纪m .则说方法和统计副教授蒂尔堡大学,荷兰。惊人的90%在心理学杂志上发表的研究结果中显示结果支持作者的假设,但在心理尺度效应研究常常太小很容易检测到的小样本bd体育在线app下载安卓大小经常在这些研究发现。

则指责设计不良统计分析这一现象:不到15%的文章报告正式权力分析,调查表明,绝大多数的心理科学家已经使用一个或多个有问题的研究行为(QRPs)来提高电源的研究。这些包括顺序测试和使用多个小研究,而不是大的,这就增加了可能性的至少一个重大发现。则为个人提供了建议纠正这些问题的研究人员,与更高的力量,需要设计实验和期刊,这需要改善报告标准,认真考虑微不足道的结果。半岛体育官方网址入口bd体育在线app下载安卓

一种有机的方式来减少偏见和其他QRPs,据阿姆斯特丹大学的心理学教授Eric-Jan Wagenmakers,是通过对抗性的协作。在这种方法中,还主张通过APS威廉·詹姆斯研究员、诺贝尔奖得主丹尼尔•卡尼曼(Daniel Kahneman)——研究人员无法复制原始作者找到伸出或支持者,和两个组一起工作计划数据收集、分析、和规则来确定“赢家。“一旦条款约定,一个公正的裁判被选中组之间的解决任何争端,两个实验室进行实验并将结果写在联合的一篇文章中,每组和裁判编写自己的讨论。

复制实验以这种方式消除后见之明偏见,确认偏见,和文件抽屉效果,Wagenmakers断言。和“它避免了事后批评的支持者的怀疑论者没有做实验吧,”一个常见的症结在许多直接复制项目,他说。

这种合作可以解决的另一个效应评估发表调查结果准确性:意识到遵守良好的科学的指导原则将个别科学家处于劣势。Nosek讨论2007年的一项调查中,明尼苏达大学的梅丽莎·安德森和他的同事们发现,个别科学家在科学研究很大程度上认可接受的行为规范,比如公共共享的数据和方法,有组织的怀疑,甚至自己的之前的工作,主要研究注重质量而不是数量。然而,当被问及他们的实际行为,他们未能实现这些理想,他们认为其他科学家的行为更糟。这表明,科学家认为周围的人她的行为方式有利于自己的事业而不是科学作为一个整体将认为遵守科学方法”有效,在[她]知觉,职业自杀,“Nosek说。

改变文化的关键,他说,是改变科学家们相信没有人遵守着这条规则。这样做的方法之一是通过所谓的推动激励,包括授予徽章识别作者的开放的科学实践,心理科学在2014年开始为文章做接受。获得徽章,作者必须分享他们的数据,材料,和/或抢注的研究计划在一个公开可用的存储库。Nosek开放科学中心的和他的同事们发起了一个这样的库,开放科学框架(OSF),旨在鼓励开放的数据交换和想法。

最重要的是,小组成员表示,希望这样的激励,技术进步如OSF、出版等变化抢注的研究,和更复杂的分析方法将培育一种文化定义不同的事业成功,成就是衡量不是出版物的数量而是在研究结果的可信度。

“我认为我们都关心科学作为一个领域做得更好,”首位,说“我们找出最好的方法来实现它。”