研究预先注册101
APS总统最近发表的苏珊戈尔丁-麦兜bdapp官网下载列标题为“预先注册会让我紧张的原因。“我们怀疑许多的心理科学家分享戈尔丁-麦兜不确定性进行预注册。在本文中,我们试图通过解释来缓和这些担忧的理由和好处预先登记为研究人员和心理学领域。半岛体育官方网址入口我们还包括一些不同的解释类型的预先登记和常见问题的答案。
一个问题:报表灵活,事后分析,好像他们已经计划
想象你进行的一项研究测试是否对称的比不对称的脸更有吸引力。假设你发现没有吸引力的整体差异,所以你测试效果不同的函数是否参与者的性别和性别的脸。观察的手段,你可以看到,男人发现对称性对两性的面孔的吸引力,而女人发现对称有吸引力的女性的脸,但在男人的脸不对称的吸引力。这有趣的交互模式没有统计学意义。检查数据更密切,你注意到一些面临被评为最大限度地吸引人的几乎每一个人,所以你把那些面临的分析,因为他们可能会掩盖真正的效果。此外,一些年龄比其他参与者和他们的评级似乎不符合模式,所以你排除他们的数据。现在的交互变得显著。“尤里卡!“你哭了。
过去,结果选择等随心所欲的探索性分析经常被报道如果他们theory-driven和计划。许多研究人半岛体育官方网址入口员产生或改变他们的假设观察数据,但是他们的研究报道后如果这些假设动机研究在第一时间(这种做法称为“结果是已知的假设之后,”或跑跳;克尔,1998)。同时,研究者半岛体育官方网址入口常常调整措施或设计,分析他们的数据然后选择性地报道那些最好的结果支持他们想告诉的故事。同样,他们有时会进行了一系列的研究,报告只有最“成功”的人,把别人当作失败的试验研究。这种方法分析数据和报告结果是Daryl Bem推荐最著名的(1987),但我们相信这是普遍长在那之前。
半岛体育官方网址入口研究人员采取这种方法几乎总是相信他们有选择地公布证据也是最好的证据,他们选择的结果,不是因为他们是最漂亮的,而是因为他们相信这是“正确”的分析。但这些灵活,事后数据分析和报告方法受到强烈火在过去的6年。不同的批评人士使用条款和突出显示(除了多个方面的问题跑跳、条款包括研究员的自由度西蒙斯,纳尔逊& Simonsohn, 2011;p黑客西蒙斯,纳尔逊& Simonsohn, 2012;小径分岔的花园> & Loken, 2014;和有问题的研究行为,约翰,Loewenstein & Prelec, 2012)。很难意识到的是,我们的直觉分析“正确”有可能影响这些分析的结果和我们多想相信这些结果。
现在的问题是不数据探索。探索可以导致新想法和发现——这是一个生成,有创意,有趣,和科学的重要组成部分,所有人员应充分研究和探索他们的数据。半岛体育官方网址入口勘探经常帮助发现意想不到的模式,值得进一步研究。它帮助研究人员避免半岛体育官方网址入口俯瞰效果(II型错误)。但探索不同于假设检验计划,标准推理假设测试的结果(例如,p值)的上下文中是有效的只有当评估测试的全套娱乐
(瓦瑟斯坦&拉扎尔,2016)。
灵活的分析实践,探索你的数据来决定哪些假设测试和如何测试,大大增加的可能性错误地拒绝零假设(I型错误)。尽管面临的性别和性别的参与者之间的交互是“重大”在我们描述的例子中,这只是一个偶然的机会高的结果分析数据的灵活性。当几个这样的策略组合,I型错误率可以从表面上飙升. 05级惊人的点或更多(Simmons et al ., 2011)。因此,灵活选择后统计测试进行检查你的数据很容易获得统计学意义时,在现实中,没有效果。它也导致夸大的估计实际影响的大小,从而增加后续尝试复制的可能性将动力不足和失败的高危(按钮et al ., 2013)和呈现整合文献的摘要不准确。更普遍的是,瓦瑟斯坦的话说,Lazar美国统计协会(2016),“适当的(统计)推理需要完整的报告和透明度。”
研究项目展开在几个月或几年,所以即使最好的意图,你可能不记得,预测,分析、排除,转换,反是等等是计划和事后。当你终于去写一篇论文,很容易忘记你曾计划分析手段而不是中位数,或者,你没有计划分别分析男性和女性的脸。你甚至可以忘了你进行了另一项研究相似报道——一项研究,由于某些原因,没有产量预测效果。此外,即使你只记得和报告所有的统计测试计划提前,你怎么能证明给别人?
一个解决方案:预先登记的研究计划
注册一个研究项目涉及创建一个永久的记录你的学习计划之前,你看看数据。该计划存储在一个日期戳,uneditable文件在一个安全的在线档案。你可以给其他人(例如,评论者)访问
抢注的计划,你可以保持你和评论者的匿名性。预先登记的主要目的是明确假设和分析指定的先验和更多的探索性和由数据驱动的。
抢注的补充我们的可塑性研究计划,不完美的记忆(Nosek、间谍、& Motyl, 2012)。你的原计划好的文档可以帮助确保你的报告准确地代表你实际的计划。如果编辑或审稿人问关于你的数据分析选择的灵活性或预测,抢注的研究计划将任何担忧。抢注的计划还提供了一个长期的记录你的实验室的工作流程——你可以回到你的计划年后回顾你的原假设和分析计划。如果你上传你的材料、计划和结果相同的网站你的抢注的计划,你可以看到整个研究过程为一个完整的研究在一个地方,使你更容易与他人分享。
你可以注册你的学习的每个细节,上传你的所有研究脚本,编码方案,数据收集计划,分析代码,等等。或者,你可以注册一个最小的计划。你可以提前竞争假设注册,你可以计划测试没有具体的预测结果。你也可以注册你的实验室的“标准操作程序”(例如,你如何定义异常值、标准转换)和参考文档来简化注册个人研究的过程。即使你是收集一套措施完全探索的目的,你可以注册计划。这样一个预先注册会提醒你并告知评论家进行这项研究没有特定的分析和预测。说,您提供的更详细和更好的文档,你的分析和预测是先天的,而不是事后的读者可以更有信心在你的解释的结果推论统计测试报告。
仅仅因为你有抢注的计划并不意味着你必须坚持这个计划不管会发生什么。在许多情况下,是有意义的检查你的数据你没有预料到的方式。预先登记不扼杀探索,它并不排除后改变你的思想你看看你的数据。它不能完全阻止你检查你的数据,测试额外的假设受到您的数据,或者尝试不同的分析。事实上,它可能会鼓励进一步的探索你的数据,因为你不再需要假装发现预测。任何分析抢注的真的是先天的,计划的。如果你偏离你的计划,你可以报告你做了什么,为什么你提供充分的透明度。你应该报告抢注的分析即使你还其他分析报告——这样做会计的分析提供了一个准确的计划内和计划外。模式中观察到更多的探索性分析可以将更严格的测试在后续抢注的研究。参照我们的face-attractiveness示例中,你可以注册一个后续研究计划排除旧的主题和面临ceiling-level吸引力和预测特定交互出现在您的探索性工作。
在我们的研究中,我们发现,在预先登记工作推动我们清晰和准确的对我们的研究计划,我们会发现,我们认为我们的发现将是什么意思。你第一次注册一个详细的分析计划,你会意识到你可以做出许多灵活决定在选择你的分析后的数据,以及这些决策可能会误导你的研究的结果。与学生合作各方的预先注册过程可能会非常有意义。在我们自己的实验室,从事这种深思熟虑的计划过程增强我们对项目的理解和挽救了我们从运行一些考虑不周的研究。很棒的(和更广泛的)治疗预先登记,看到车的转向和Giner-Sorolla (2016)。
无论是APS实证的期刊,bd体育在线app下载安卓心理科学和临床心理科学,需要预先注册,尽管他们鼓励它。三位作者的这篇文章,只有西蒙斯已经发表抢注的研究从他的实验室,但是我们都已经开始注册我们的新的和正在进行的研究。在编辑和评论员,我们把更多的股票在提交报告抢注的研究(其他所有条件都相同)。在鲍勃·迪伦的话说,“《纽约时报》,《”。“在我们看来,采用预先注册意味着他们改变更好。预先注册就像洗手——这是良好的卫生习惯和良好的群,和每个人都应该这样做。
类型的预先登记
预先登记(又名未审核预先登记)
研究者创建详细的描述他或她的研究计划,保存这些计划在加上时间戳,uneditable档案。这个记录可以与评论者共享、编辑和其他研究人员。半岛体育官方网址入口
注册报告(又名预先登记审查)
研究的研究员提交一个详细的提案日记之前进行研究。这些注册报道与预先注册相同的优点,但他们也发表偏倚,因为研究解决这一问题发表不管他们的结果。注册报告是最有用的定义良好的研究领域中,评论者可以合理地评估提出的一项研究将丰富的可能性无论其结果。(点击这里对这些期刊的列表和更广泛的讨论。)bd体育在线app下载安卓
注册复制报告(存款准备金率)
一个变种的注册报告,获得的重点是直接复制的一个或多个原始研究结果。许多实验室遵循相同的抢注的计划,所有的独立研究结果发表共同不管个人研究的结果。这种报告的变体包括获得心理科学观点和ManyLabs项目等等。
常见问题关于预先登记
问:如何注册我的研究在哪里?
你可以注册你的学习计划在许多方面,所有这些都可以访问和自由。等网站AsPredicted.org使预先登记快速和简单的使用一个Web表单,适用于许多简单的实验设计。的开放科学框架(OSF)允许简单的预先登记和完整的规范学习的所有方面——你可以上传文件,脚本,图片,等等。OSF站点提供了一个详细的例子如何做一个预先登记。示例使用一个模板(OSF提供了许多的),但你不必使用。事实上,你可以输入你的计划在一个Word文件,上传OSF,并注册它。您可以使用这些工具来创建一个只限查看的链接或PDF,允许匿名审稿人看你的计划。预先登记的其他选项包括ClinicalTrials.gov阿肯色州教育协会注册,证据在政府和政治,审判在世界卫生组织注册网络注册。看到车的转向和Giner-Sorolla(2016)与预先登记相关的额外资源。
问:不预先登记花费很多的时间和精力?
答:需要一定的时间在你开始学习之前,但它可以节省你的时间。认为它是提前写你的方法的核心部分进行研究。一旦抢注的一项研究中,随后预先注册计划,后续研究可以快速、轻松地完成。如果你发布你所有的材料作为预先注册文档的一部分,你也将会有一个永久的记录你所做的会让你和别人更容易繁殖年后你的过程。
问:我可以看到预注册实验室实验但不是现场工作,档案分析,纵向研究,等。它任何意义预注册这些研究呢?
是的。任何定量研究应该被抢注的如果要分析的结果与标准推论统计测试。预先登记就是描述你打算做什么;甚至领域的研究都是基于计划。你可以注册你的档案研究计划、现场观察,纵向研究,调查研究,荟萃分析,等等。的确,预先登记可能是特别有价值的相关研究(例如,大型数据集提供了巨大的机会,跑跳)。对于一个探索性研究,预先登记将简短的清单的措施——也许只是您将收集和分析您可以试一试。长期纵向研究,可以产生增量预先登记(例如,一个初始预先登记可能会详细说明第一阶段,第二阶段更加开放)。实地研究,你可能注册计划开发一种编码方案。
问:是否预先登记数据采集开始前完成吗?
答:不是。只要你没有检查数据,您可以创建一个预先登记数据收集后开始甚至完成后(在归档数据的情况下,它可能是年后)。
问:我需要开展研究完全按照预先登记?
答:不是。预先登记不绑定,你可以改变你的想法关于你的计划。当你的程序离开你的抢注的计划,不过,你必须承认这种差异,认识到可能不是真正的先验假设测试。评论家和读者可以作出明智的评估的适当性偏离计划。关键是对哪些方面是完全透明的计划和至少部分取决于你的知识的数据。
问:大多数研究者半岛体育官方网址入口是诚实的,那么为什么我们需要预先登记吗?
答:预先登记不承担不诚实。追溯和类似的做法,预先登记治疗通常是无意而不是故意的。预先注册帮助我们记住我们计划(和其他人)展示。
问:我总是区分探索性研究,研究在我的写作计划。我为什么要打扰正式注册?
答:为什么不呢?这文件你坚持最佳实践和作为一个至关重要的检查你的记忆。
问:在我的实验室中,我们检查结果在探索性分析通过复制他们在后续研究。
很棒的(特别是如果你报告你所有的后续研究,不仅仅是那些取得了最漂亮的结果)。但更令人信服的如果你可以显示评论者抢注的那些复制计划。
问:什么是预先登记的资格标准徽章APS的手稿发表期刊bd体育在线app下载安卓心理科学和临床心理科学吗?
答:点击这里。
问:注册抽筋我的风格吗?
答:只有你的风格依赖提出探索性分析,好像他们已经计划。
问:无法研究员打算作弊产生人造预先注册通过收集和分析数据,然后以后“预注册”,“计划”吗?
是的。预先注册帮助诚实的人员做好工作,但它不是被设计来防止欺诈(半岛体育官方网址入口尽管它可能很难)。
问:还有其他优势预注册?
预先登记可以使你的研究更高效。使用预先注册,您可以采用顺序测试程序,可以显著减少参与者的数量需要测试一个假设(Lakens, 2014)。没有预先登记,决定是否收集更多数据后查看结果(可选停止)的一种形式p黑客,膨胀意外的几率获得一个假阳性的结果。预先注册,你可以把你的α水平占peeking-and-deciding,保持你的假阳性速率常数而停止早如果你发现一个重要的结果。但它是有效的只有一个抢注的计划,指定当你会偷看你的数据和你将如何调整你的α水平让你错误速率常数。(但是请注意,连续测试,就算你预先注册将膨胀效应值估计,因此其价值仅限于维持固定的假阳性率。)
问:我可以用预注册赢钱?
答:是的!开放科学中心的1000名研究人员支付1000美元,就可以发布项目每个抢注的开放科学框架半岛体育官方网址入口。点击这里获取更多信息。
引用
本,d . j . (1987)。写作经验期刊文章。在达利,j . M。、Zanna m P。,& Roediger三世,h·l . (Eds)。有造诣的学者:职业指导(页171 - 201)。华盛顿特区:美国心理协会。
按钮,k . S。埃尼迪斯j . p。Mokrysz C。、Nosek b。弗林特,J。罗宾逊,e . s . J。&穆纳佛,m . r . (2013)。电源故障:为什么小样本大小破坏神经系统的可靠性。神经系统科学自然评论,14,365 - 376。doi: 10.1038 / nrn3475
>。& Loken大肠(2014)。科学的统计危机:视分析——“小径分岔的花园”解释了为什么许多统计学意义比较不耽误。美国科学家,102年,460年。doi: 10.1511 / 2014.111.460
Lakens, d . (2014)。高效地执行高动力研究与序列分析。欧洲社会心理学杂志》上,44岁,701 - 710。doi: 10.1002 / ejsp.2023
Nosek, b。、间谍、j . R。& Motyl m (2012)。科学乌托邦:II。重组动机和实践促进publishability真理。心理科学观点,7,615 - 631。doi: 10.1177 / 1745691612459058
西蒙斯,j . P。纳尔逊,l D。& Simonsohn,美国(2011年)。假阳性心理学:未披露的数据收集和分析的灵活性允许展示什么是重要的。心理科学,22岁,1359 - 1366。doi: 10.1177 / 0956797611417632
西蒙斯,j . P。纳尔逊,l D。& Simonsohn,美国(2012年)。一个
21-word解决方案。从http://ssrn.com/abstract=2160588获取
范的t转向,a E。& Giner-Sorolla r (2016)。预先登记在社会心理学——一个讨论和建议模板。实验社会心理学》杂志上的67年,2。doi: 10.1016 / j.jesp.2016.03.004
