没有危机,但不是自满的时候
共识再现性
美国科学院、工程和医学最近发表了一份报告,题为重复性和复现性科学。我们都有幸担任该委员会发布了这份报告,这是一个简短的总结委员会是如何产生和它的主要发现。
为了应对担忧复现性在许多科学分支,国会通过美国国家科学基金会——指导全国院校进行研究。授权很广泛:定义重复性和复现性,评估所谓科学是如何在这些领域,审查当前试图改善再现性和可复制性,,并为改善提出建议严谨和透明度的研究——在所有科学和工程领域,不仅仅是心理科学。
委员会13日科学家成立,除了我们之外,包括作者、医学研究人员,自然科学家、工程师、计算机科学家、科学历史学家和统计学家。半岛体育官方网址入口该委员会在16个月内遇到了12倍。蒂姆·这不是太困难,谁能跳上一列火车在夏洛茨维尔和几个小时在华盛顿。是更难温迪,点缀在巴黎休假与直流几次来回飞行。无论如何,我们都同意这是一个迷人的和启发性的经验为委员会服务。
因此,委员会得出什么?我们的工作是第一个定义重复性和复现性。你可以想象,跨学科的定义有很大区别,我们达成共识的定义从一个范围的可能性。
我们定义再现性计算再现性,获得一致的计算结果使用相同的输入数据,计算步骤,方法,代码,和条件的分析。可复制性被定义为获得一致的结果在研究,旨在回答相同的科学问题,获得了自己的数据。简而言之,繁殖研究涉及使用原始数据和代码,而复制研究涉及到新数据收集和可用类似于以前的研究方法。
一旦我们定义的术语,委员会得出的重复性和复现性科学呢?这个问题可能是最重要的在许多人的心目中,鉴于已收到了关注,在我们的领域和在全国媒体。,跟着这个辩论的人都知道,对答案有相当大的分歧。我们相信,一些领域面临着严重问题,如频繁使用宽松的方法,威胁的有效性。其他人认为这些问题的严重程度被夸大了。还是其他研究人员注意,严半岛体育官方网址入口谨的研究实践心理科学和其他科学领域的一个重要焦点之前当前担忧重现性和可复制性。
简而言之,委员会的回答是“没有危机,但不自满。“我们认为没有证据表明危机,很大程度上是因为nonreproducibility的证据和nonreplicability在所有科学和工程是不完整的和难以评估。与此同时,在这两方面可以采取措施改善。
委员会的具体结论和建议为重复性和复现性不同。涉及到一个重要的不同再现性和可复制性,我们应该追求。有大型协议为再现性这个问题的答案:当研究员透明报道的一项研究,使工件可用的网络基础设施,如数据和代码,应该计算的结果。委员会建议关于如何实现再现性,主要通过提高透明度。例如,委员会建议,帮助确保计算结果的再现性,研究者应该传达清晰、具体,并完成任何计算方法和数据的信息产品,支持他们的结果发表,使其他研究者重复分析。半岛体育官方网址入口
科学理想的可复制性,研究人员试图通过收集新数据获得一致的结果,使用类似的方法——更为微妙。半岛体育官方网址入口例如,一个关键的观察报告,我们相信,是,“科学的目标是不,不应该是为所有结果复制”(p。28),因为有复现性和发现之间的紧张关系。(对于一个优秀的讨论这个问题,看到威尔逊b & Wixted, 2018年,心理科学方法和实践的进步,1,186 - 197)。
同样,该委员会指出,nonreplicability可以来自许多来源,其中一些可能有助于推进科学知识和其他人是无益的。
有用的来源Nonreplicability
Nonreplicability可能是由于限制在当前的科学知识和技术,以及固有的但无特征在系统被研究。当时结果调查和解决时,会导致新见解,更好的描述不确定性,增加知识的系统学习和方法用于研究。
无益的Nonreplicability来源
Nonreplicability也可能是由于可预见的缺陷在设计,行为和通信的研究。是否因缺乏了解,不正当的动机,马虎,或偏见,这些无益的nonreplicability来源减少科学进步的效率。
nonreplicability无益的来源之一是不恰当的统计推断。滥用统计测试通常包括事后分析的数据已经收集,使它似乎对零假设统计上显著的结果提供证据,而事实上他们有一个高概率的假阳性。其他不恰当的统计实践包括p -黑客——收集的实践、选择或分析数据,直到发现统计学意义的结果,“樱桃采摘,”研究人员可能无意识地或故意选择性地报告他们的数据和结果。半岛体育官方网址入口
nonreplicability减少无益的来源,我们概述了计划和实践来提高研究设计和方法,包括培训的正确使用统计分析和推理,提高指导,重复实验在发表前,进行严格的同行评审,利用工具检查和结果,分析和改善报告的透明度。
复现性和再现性并不是唯一的方法来获得信心在科学的结果。研究合成和荟萃分析可以帮助评估机构的信度和效度的研究。你们可能知道,荟萃分析提供的估计总体中央倾向(尺度效应或协会大小),以及估计的方差或那些估计的不确定性。整合测试效果大小的变化可以在现有研究表明潜在原因nonreplicability——在个别异常值的研究,特别是人口,或使用某些方法。当然,这种分析必须考虑发表结果的可能性被选择性报告和偏见,在一定程度上有可能,估计它的影响。
最后就我个人而言,这是有趣的学习方式,不同的科学学科试图建立重复性和复现性。我们比以往任何时候都更相信在我们这个领域的基本面情况。像其他科学、心理科学生产大量的有用和可靠的知识可复制的发现对人类的思想,情感和行为。越来越多的研究人员和政府正在半岛体育官方网址入口使用这些知识来满足社会的需求和解决问题,提高教育成果和减少政府浪费等无效的程序。我们强烈支持广泛的从我们的会议结论:没有危机,但没有时间自满!
评论
注册报告?
“科学的目的是不,不应该是为所有结果复制”(p。28),因为有一个可复制性和发现之间的紧张关系。”
第一个想法,来到我的脑海:鸵鸟。
我的妻子,谁是发育生物学家大约有35年的研究在她的简历,在她的领域必须处理复制问题。和她的特定领域的生物学更准确和可复制比心理学已经建了一所房子的卡片和沉溺于拒绝!
作者选择一个松散的和特殊的“可复制性”的定义。没有下面的精确定义方法的概念设计研究应该产生相同的结果(预期的变化的研究)。相反,有一个宽松得多(而且几乎有用)的定义与不同的数据解决同样的问题。
这个松弛定义的一个结果是,它使得nonreplication似乎不那么糟糕。事实上,多说报价复现性和发现之间的紧张关系,以及领先的“有用nonreplicability来源”表明nonreplication看起来好可能是这篇社论的未阐明的目的(但谢谢你告诉我们你如何前往会议)。
我觉得很不可思议,没有提到预先登记作为nonreplicability最小化的一种工具。
“科学的目的是不,不应该是为所有结果复制”(p。28),因为有一个可复制性和发现之间的紧张关系。”
我很好奇,是什么主要的例子,验证发现来自unreplicatable结果和临到,否则就不可能有吗?
重要的发现早期的电力通常无法复制,因为知之甚少的影响无关的变量如湿度。看到付款,j·l . (1979)。电力在17和18世纪。柏克莱:加州大学出版社。
阅读学术早期历史的任何领域通常会显示有趣的失败的例子复制重要的发现,因为未知或知之甚少的辅助因素。换句话说,在一个给定的阶段发展的一门科学,一个通常不知道所有的因素,事实上必须控制以“复制”一个早些时候的发现,尤其是在另一个实验室。
比简单的复制更重要的是建立在先前获得的结果,也就是说,做进一步的实验假定早期结果。
科学的目标是不要复制所有的结果。
真正的和繁琐。新问题。
多少主客体之间复制实验社会心理学呢?
由OSC不到25%(科学文章)。
哎哟。
https://replicationindex.com/2019/08/27/no-crisis-in-social-psychology/
这是更多的引用在上下文中,乔治:
“科学的目的是不,不应该是为所有的结果是可复制的。non-replication报告的结果可以产生兴奋,因为他们可能表明可能新现象和扩展当前的知识。同时,某种程度的复制性预计当科学家们正在研究新现象并不是完善的。随着知识的一个系统或现象的改善,可复制性的研究的特定系统或现象预计将增加。”
断章取义,它会导致你的愤怒的表情。但在上下文中,似乎更明智的“鸵鸟”。
而且,他们写道:
”“安全”和“大胆”的科学方法优势互补。有人可能会认为一个字段已变得过于保守,如果所有试图复制的结果是成功的,但它是合理的期望,研究人员跟进新的不确定与复制的研究发现解决这可喜的成果证明正确。半岛体育官方网址入口科学家应该认识到投机假设中固有的不确定性和惊人的结果在任何单一的研究。”
@Chris克兰德尔。这是一个绝对恐怖的引用。在报告中吗?它似乎并不在这篇文章。(和我当然不是付费阅读报告)。
它是人们首先出版的工作,以确保他们的结果是健壮的。他们不应该出版的东西不安全。绝对不应该被别人的工作,所有的缺点要第二,要做的工作的努力是正确的。
这么谨慎似乎和其他类似的研究,无论他们的结论,我觉得这惊人的,没有检查研究项目测试经验证伪理论观察,而缺乏理论所观察到的似乎不是一个评论或关心的问题。
进化生物学的基石,因为不是有多少观测一致的想法自然选择和复制/这些观察是可以复制的。站因为它使测试的,可证伪理论对所有这些观察。在这种情况下,我们知道我们知道。
暗物质是一种理论关于未知的物质表现出行为符合一个通用模型,量化的精确和可复制的方式,但是我们不知道它是什么。在这种情况下,我们知道我们不知道。
这是两个的很多所扮演的角色可证伪的例子,在科学统一的理论。有些人可能认为,如果被测试理论,它不是科学,它是观察,科学的前身。
APS定期打开特定的在线文章讨论在我们的网站上。有效的2021年2月,你必须登录APS成员发表评论。通过发布评论,你同意我们社区指导原则和显示您的个人信息,包括你的名字和联系。任何意见、发现、结论或建议在文章评论的作家和不一定反映APS的观点或文章的作者。有关更多信息,请参阅我们的社区指导原则。
请登录你的APS账户置评。