总统列

为什么预先登记使我紧张吗

这是苏珊戈尔丁-麦兜的肖像。我必须承认,当我第一次听到的心理科学家努力注册学业(即提交期刊研究的假设和计划如何分析数据之前,研究运行),我有一个恐慌的时刻。似乎,表面上看,完全监管我的口味。现在我已经平静下来,看到预先注册的有效性——事实上,APS一直鼓励预先注册的最前沿科学使我们更加透明和可靠。手稿被接受发表心理科学有资格获得三个独立的徽章旨在促进开放科学(可以忍受,2014)。(编者注:临床心理科学现在提供徽章。在p。13。)看到的故事。这些都是

  • 抢注的徽章(预注册报道研究的设计和分析计划和报告结果按计划);
  • 开放材料徽章(让繁殖所需的组件的方法研究公开);和
  • 开放数据徽章(让繁殖所需的数据报告的结果公开)。

徽章系统最近已被证明能够提高开放的科学实践。

但我对预先注册的最初反应仍然需要仔细检查,认真对待,当别人可能反应(和继续反应)以同样的方式。随意的观察表明,预先登记徽章则是被用得最少的。至少对我来说,两个问题继续让我夜不能寐。

第一个是担心预先注册会扼杀发现。科学不仅仅是测试假设——这也是发现假设基于现象值得研究。我们难道不应该让数据指导我们探索?如何让新发现如果我们的研究需要编目之前运行?

第二个问题是,预先登记似乎只适用于某些类型的研究,实验研究在实验室控制条件下完成的。如何观察研究、实地研究和研究罕见的参与者,这些只是其中一部分,可能不能够完完全全适合预先注册脚本?

本月的专栏将致力于琢磨担心预先注册会扼杀发现。下个月的专栏将集中在担心预先登记只适用于某种类型的研究。

APS的保罗·罗津社会心理学家solomonasch后期后,提醒我们,有阶段进行科学。第一阶段致力于发现现象,描述他们适当的(即。,找出这种现象定义它的哪些方面是必不可少的),和探索的鲁棒性和普遍性的现象。只有在这一步了(这不是一个微不足道的一个)我们应该继续探索因果因素——机制之前的现象和参与其中,和功能,遵循这一现象,导致其复发。

预先注册适合第二阶段假设检验研究,但很难调和与第一阶段发现的研究。根据罗津和阿希,心理科学过于迅速转移到第二阶段的研究。我们需要知道一个现象是健壮和可概括的条件和参与者(或限制以有趣的方式一组条件和参与者)急于尝试解释之前负责这一现象的机制。理解的机制是值得的只有我们的认知机制,构成一个中央的一个方面,社会和生物的自我。

皮亚杰的研究是一个可爱的插图罗津/ Asch一点科学收益首先发现定义我们的现象。皮亚杰对儿童经历的步骤学习如何概念化世界定义了发展心理学领域。现象他认为跨文化和健壮且可概括的军团,他们需要认真对待任何声称占发展理论。皮亚杰的尝试解释这些现象,揭示他们的机制,已受到严重挑战。但他描述的现象是行为的发展需要解释,和领域仍致力于这项任务。皮亚杰的初步研究——不可能被抢注的,此外,实验上很混乱(这一点在下月的列),保险,进行后续实验来调查因果机制值得做。

现象被发现后健壮是值得探索的因果机制——这一步,小心控制的实验室研究和统计方法是必不可少的。这个问题思考科学的阶段让我想起是否用于假设检验的统计方法研究适合存活率存在研究。如果没有,我们这个领域可能需要发明新的统计数据来评估现象中发现的第一阶段的可靠性。

预先登记是一种方法,我们可以让自己,明白我们的评论者,我们的读者我们的假设。但我们不应该把预先登记作为目的本身。之前我们可以注册我们的假设,我们需要发现他们和确保我们所寻求的机制是值得解释的现象。

引用

阿希,s e (1987)。社会心理学。纽约,纽约:牛津大学出版社。(原著出版1952)

可以忍受,大肠(2014)。业务不像往常一样。心理科学,25,3 - 6。

Kidwell, m . C。、Lazarevićl . B。Baranski E。哈德威克,t·E。佩特罗夫斯基,S。法尔肯贝里L.-S。,…Nosek b a (2016)。徽章承认开放实践:一个简单的、低成本、有效的方法,提高透明度。《公共科学图书馆·生物学》上,14。doi: 10.1371 / journal.pbio.1002456

罗津,p (2001)。社会心理学和科学:从所罗门阿希一些教训。人格与社会心理学评论》5,2 - 14。

罗津,p (2006)。域诋毁和过程在学术心理学的偏好。心理科学观点,1,365 - 376。

罗津,p (2009)。什么样的实证研究我们应该发布、基金和奖励?一个不同的视角。心理科学观点,4,435 - 439。

评论

(我在开放科学中心的工作预先登记,其他项目)

谢谢你说出这些预先注册的担忧。我可以鼓励领域考虑的相对成本和收益平衡冲突的需要减少1型和2型错误?也就是错误地声称是真实产生影响的风险与错误地失踪,意想不到的效果呢?检测1型错误率相当困难,很少进行。所以我们必须尽我们所能测量和最小化它——例如,通过奖励复制研究。

因为担心你提高可能是最频繁引用担忧预先注册,我可以推荐一些创造性的解决方案来解决这些问题吗?例如,您可能需要报告使用抢注的设计报告一些自己取消的数量分析,从而迫使研究人员“解开”他们的手和批准通过数据挖掘发现一些意想不到的。半岛体育官方网址入口虽然我个人不认为是必要的(有充足的回报在寻找和发布出人意料的趋势),那些担心预先注册会扼杀创新也许可以推荐这种或类似的安全措施来帮助平衡利益冲突在科学发现和推理。

我很高兴哈希通过任何想法,可以帮助更清楚的过程科学发现和报道。

真诚,大卫

谢谢你的诚实的评论。我认为你的担心是没有根据的。我也曾经怀疑预先登记(原因我不会进入)但我已经开始相信,它只会提高我们的科学。预先登记不贬值探索性研究。完全相反,它增强了它的因为你可以清楚地知道哪些方面是探索性和验证性研究。没有人阻止你除了你的抢注的设计进行探索性分析。没有人阻止你首先进行探索性研究,寻找规律,然后确认他们在抢注的实验。事实上,这正是预先登记好。

关于你提到的第二个问题,可能有多种研究预先登记不适用。在这种情况下,没有人建议应该使用它。虽然我敢打赌,在许多情况下,这将是完全可以注册一个证实试验也在这种情况下(这并不排除包括勘探方面的研究)。

我同意预先注册有风险,只有时间会告诉他们如何发展。举例来说,一个基本的质量预先登记(即上传一个文档介绍&方法OSF)只能一样好详细的文档。此外,如果没有人检查有多少偏差预先登记和最终的研究中,然后预先登记可能是毫无意义的。这些问题都是为什么我认为从长远来看,唯一有用的形式预先登记是通过注册报告第一次在数据采集开始前同行评议。

注册报告我认为其他风险:例如,同行评议者可以拒绝他们认为有太多的探索性研究。这从来都不应该是一个理由拒绝一项研究提供了抢注的计划后,除非最后进行的索赔证据的支持。同行评议者也可能做出不切实际的要求改变在初始审查的方法。我认为这两个问题是可以预防的好编辑,但肯定是有讨论的空间如何实现这一目标。

在任何情况下,我不认为这些问题足够严重,更不用说,他们到目前为止,有很多证据,你应该不眠之夜。

伟大的问题预先注册了在她的苏珊戈尔丁-麦兜的前总统列。但随着心理科学我想评论的编辑列的两个方面。

“预先登记”列的定义可能是混乱。列定义预先登记作为期刊提交预先注册计划。但研究人员可以注册然后进行研究后写,然后提交,指向锁定,研究抢注的日期戳的pregistration作为证据。所有的抢注的研究发表在《心理科学》到目前为止是这样的。在我自己的实验室里我和我的学生注册我们所有的项目,但我们尚未提交了一份提案之前进行的研究》杂志上。《心理科学》杂志上没有,在这个时候,考虑发表提案前数据进行(尽管其他期刊,如皮层,和心理科学观点发表了很多重要的注册复制报告接受数据收集之前,和心理科学有时与作者添加抢注的随访研究)。bd体育在线app下载安卓我的观点是,有很大区别(a)预先登记本身和(b)提交提案之前进行的研究》杂志上。看到//m.obsidohoteles.com/index.php/publications/bd体育在线app下载安卓journals/psychological_science/preregistration为进一步的信息进行预注册。

此外,在我看来预先登记工作漂亮的探索性工作(现场观察等)。这样的工作真的处于非常初步的阶段prereg可能很短暂。例如,年轻的珍·古道尔可能pregistered类似“我打算去冈贝河国家公园和悄悄地观察黑猩猩,记笔记的主观印象的行为;我没有计划措施,没有先天的预测;我只是希望了解黑猩猩通过观察它们的自然栖息地。你可能会问“有什么用这样一个模糊的预先登记?”,但恰恰是有价值的,因为它有助于研究者记住(审稿人和编辑知道),研究人员并没有在指定的措施和假设。

史蒂夫林赛

本文中所有的担忧(在下一篇专栏文章和标记)解决在faq长度对注册开放科学报告框架。
https://osf.io/8mpji/wiki/4.%20Frequently%20Asked%20Questions/

特别是,请参见专用部分“科学创造力和探索”:https://osf.io/8mpji/wiki/FAQ%205: % 20科学% 20创造力% 20和% 20勘探/

现在我还想补充的是,拥有超过25注册报告编辑皮层和皇家学会开放的科学,我看到第一手的地方没有任何酒吧在探索性分析、创造力或意外——作者只需要区分探索性分析的结果与预注册确认分析。得到的是实证报告,避免发表偏倚,一样自由从研究者的偏见可以学习,方法不够细致,和严格的统计。

事实上,远离抑制探索性科学,我认为注册报告提供为数不多的(也可能是唯一的)格式,可以提出探索性分析诚实在本土形式——探索——而不是被塞到了一个不合身的验证框架,变态扭曲,损害赔偿理论发展和我们的激励结构。

读者可以看到这自己的注册报告,迄今已发表皮层
http://www.bd体育在线app下载安卓journals.elsevier.com/cortex/virtual-special-issues/virtual-special-issue-registered-reports

是耻辱APS总统列用于预先的观点显然是没有任何经验的基础上预先登记一个作者或编辑能力,和小尝试研究发表反驳这些担忧,已在多个论坛现在公开了3年。

统计工具,如假定值和置信区间有意义只有严格确认分析。反过来,预先登记是少有的几个方法来检查和确认确实提出了分析确认。两个结论:
(1)研半岛体育官方网址入口究人员做探索性的工作不能解释他们的统计检验的结果以一种有意义的方式。问题是一个多比较比较未知的数量(De Groot, 1956/2014)——换句话说,挑选。
(2)研半岛体育官方网址入口究人员希望解释他们的统计检验的结果以一种有意义的方式被迫注册他们的分析。预先登记价格支付被允许接近一个统计测试。

探索性研究总有一个地方,为科学发现是绝对有必要的。但是常常探索冒充为确认。例如,如果你做探索,推论统计是不合适的。我们的统计测试被设计成confirmatory-you行为的关键假设检验你提前计划。另一方面,如果你探索数据和选择礼物最有意义的,可判断的,或重要的结果,p <。05年在很大程度上是毫无意义的关于误报的风险。

我也有这些担心预先登记。但是我已经改变了原先的观念和主张提交至少最小预先登记每一个在我的实验室研究:

http://babieslearninglanguage.blogspot.com/2016/07/preregister-everything.html

注意,斯蒂芬·林赛上面写道,我们谈论的注册协议,不能提交数据收集前同行审查。第二个是昂贵得多的时间和精力,(我相信)不一定适合每个项目。

融入我的标准建议实践,只不过我现在认为预先登记实践,我们进行了非正式会议和实验室笔记本:指定利益的结果,样本大小和提前预测。新技术工具的价值,我们可以提醒自己这些事后,保持不被治疗探索引入歧途的发现证实假说的测试。

不是surprisinglly,我完全赞同的苏珊戈尔丁-麦兜的担忧可能overestensions预先注册的想法。只要它不是出版条件,而不是一个“徽章”,我想这可能是有用的在某些条件。预先登记的探索性工作,提出了一个评论,不会工作在我看来。我的大部分工作是探索性的,这样的工作的事情之一是,我经常改变主意我应该寻找或者什么。自由跟随的现象是非常重要的。幸运的是,巴甫洛夫能够这样做。主要是根据我的经验,但不完全是在调查研究中,第一篇文章探索性研究,这将是一个预先登记候选人,结果大部分时间是一个意外的试验研究,揭示了变量,条件,没有预期的模棱两可。当你认为你所做的“正确的”,与预先登记,通常,评论者指出,你真的没有做正确。
我认为相当比例的最具影响力的心理学研究不可能被抢注的。它们涉及惊喜。当然,在一个研究领域,比分是20研究支持假设,和20对,设计很好地开发,预先登记可能会更有效。
Paul Rozin U考评的


APS定期打开特定的在线文章讨论在我们的网站上。有效的2021年2月,你必须登录APS成员发表评论。通过发布评论,你同意我们社区指导原则和显示您的个人信息,包括你的名字和联系。任何意见、发现、结论或建议在文章评论的作家和不一定反映APS的观点或文章的作者。有关更多信息,请参阅我们的社区指导原则

请登录你的APS账户置评。