说说容易,做做难:6年的教训进行预注册

APS超过6年之后开始鼓励心理科学家预注册他们的研究,实践中继续获得赞扬作者说这让他们更仔细地思考他们的假设和方法,,最终,使他们的工作更强。然而,许多作者仍不愿注册原因包括缺乏熟悉流程或担心它可能是劳动密集型或抑制,甚至阻止他们做探索性研究。

对于一个第一手观察预先注册的过程和影响,bdapp官网下载伸手从APS的作者一些顶级抢注的研究期刊上取决于数量的引用和Altmetric分数。bd体育在线app下载安卓是什么促使他们注册研究呢?他们注册的经验,与其他研究相比,他们没有注册吗?什么好处,如果有的话,他们得到的结果决定预注册?

成因,影响

预先登记,科学家指定他们的研究计划(例如,假设,数量和性质的主题,程序、统计分析、预测),然后网上发布这些计划在一个锁着的文件,编辑,审稿人,,最终,读者可以访问。介绍了APS期刊2014年1月,实践是嵌入在bd体育在线app下载安卓一些更广泛的APS出版标准和实践的变化”旨在加强报告的研究成果和方法,”写道心理科学编辑器d·斯蒂芬·林赛在一篇社论中。“预先登记的理论优势”,写Eric-Jan Wagenmakers Gilles Dutilh之后bdapp官网下载”,是提高之间的区别两个互补但独立的科学探究阶段:假设一代(即阶段。探索性研究)和假设检验(即阶段。验证性研究)。尊重这种区别,研究人员让自己预防普遍影响的后见之明偏见和确认偏见半岛体育官方网址入口。”

从2014年到2019年,43 154合格的文章发表在心理科学赢得了抢注的徽章”有一个抢注的报道研究设计和分析计划和报告结果显示,计划。”(APS也奖开放科学徽章开放数据和开放的材料。)另外两个APS期刊出版主要是bd体育在线app下载安卓实证研究,临床心理科学和心理科学的方法和实践的进步,也鼓励预先登记和颁发徽章。

“我认为预先登记是一个很好的主意,我们更应该这样做,”艾琳Heerey说,2018年的主要作者心理科学文章“实验者的作用相信社会启动”,有244个引用。“当你想到你的方法在这一水平的细节,并把它们写在你做这个工作,它能帮助你抓住细节,评审员会问这些问题后,计划提前。”

艾米Orben, 2019年被广泛引用的主要作者心理科学文章“屏幕、青少年和心理健康:证据从三个Time-Use-Diary研究”(Altmetric得分1749,24引用)还发现积极的经验。

“我认为预先注册了我们的研究更强,“Orben说。“我们发现比我们预期效果相反的方向从我们前两个数据集分析生成假说,这并没有引起太多问题在我们抢注的同行评审研究。此外,它允许我们展示一个不同的存活率存在和假设检验框架,这我相信,希望支持。”

是什么促使预注册的决定吗?Heerey,安大略西部大学的,“我们做到了部分出于好奇什么预先注册方式,一定程度上是因为我们知道,考虑到有争议的结果是,我们需要文档显然我们的预测和提前公开,还有部分原因是评论者提到的加强我们的工作。”

Orben,剑桥大学的,“感觉就像自然的一步。”她和她的同事分析了两个先前存在的数据集来确定他们的假设,他们知道第三个数据集将于下个月被释放。“这只是足够的时间来注册的假设和分析计划,然后有强烈的验证性测试我们的假设形成”。

也将云雀,剑桥大学的,认为预先注册的另一个好处是,“它需要相当多的思考实际上是试图找到答案,”作者说2017心理科学文章“自闭症患者更一致的光谱条件决定”(22引用)。“详细思考不同的分析策略的影响迫使一个明确的什么,确切地说,一个想要测试的假设,以及如何测试它们。”他引用了务实的原因。“我们认为最好提交一个合理的计划,以避免大量的产出和膨胀的风险错误率和无意识的“摘樱桃”的结果,”他说。进一步,他和他的同事推测,注册“可能会被认为受到我们的同伴。”

预先登记的感知是劳动密集型的,“这不是我的经验,”Heerey说。“我认为这只是转移在你的工作你做研究之前运行。基本上,它意味着写作方法部分前面意味着你几乎有部分论文的起草之前运行,使写作的过程更容易。”

迈克尔Kardas芝加哥大学布斯商学院的赞同。他2018年心理科学文章“看到比做容易:仅仅是看别人表演可以培养技能习得的幻觉,“18引用。

“我们抢注的几个实验,这并不是问题:它需要几分钟也提示您仔细想一想你的假设和分析策略,“Kardas说。”加上经常可以重用语言从一个写作时预注册了另一个,所以这个过程往往是相当有效的。”

Orben指出,开放科学框架”,它的许多不同的预先注册模板,使得它能相对容易地登记,你甚至可以禁运让你登记在私人空间,直到你想要释放它。”,虽然她承认预先登记是“自然的过程将一个人的手,并没有感到特别抑制我相信它会帮助我测试我的假说。”

Heerey也不赞同这样的说法,可以抑制预先登记。“欢迎你去探索你的数据,”她说。“预先登记并防止的是人们报告探索发现如果他们主要假设。通常情况下,我们探索我们的数据(有时不抢注的试验数据,有时额外的结果,我们发现在抢注的数据集),然后进行另一个抢注的研究,我们明确预测并检查这些影响。无论如何,我认为这增强了工作的质量我们在实验室里所做的。”

Heerey预先注册的粉丝,她希望“更多的期刊会强调和鼓励更大程度上寻求同行审查的能力之前,数据收集。bd体育在线app下载安卓这让研究人员有机会与评半岛体育官方网址入口论者协同工作来确定方法,而不是敌对的“举例来说,如果结果不匹配/复制/证实先前的发现。“我认为这将有助于阻止人们埋葬无意义的结果,可以很容易为评审员/研究人员解释或研究人员根本不会写,因为他们不明白为什么一个方法应该产生一些发现没有这样做…。”半岛体育官方网址入口

不是抢注的研究实践不应该灵活的工作。Orben说她最好的“预注册详细分析计划;然而,我发现通过同行评审过程的分析不能坚持,因为我们获得的数据。我们透明地适应我们的分析策略,但回想起来我希望我们事先会想到这样的应急计划。”

引用和相关阅读

• 心理科学协会。(无日期)。开放实践徽章。从//m.obsidohoteles.com/publications/badges获取
• 心理科学协会。(无日期)。开放的科学。从https://获取psychologicalscience.org/publications/open-science
• 可以忍受,大肠(2014)。业务不像往常一样。心理科学,25岁,3 - 6。https://10.1177/0956797613512465
• Wagenmakers E。,Dutilh g (2016)。七个自私预先登记的理由。bdapp官网下载13 - 14日,26日。从//m.obsidohoteles.com/observer/sevenbdapp官网下载-selfish-reasons-for-preregistration获取