APS和开放科学:音乐我们的耳朵

阿兰。德国人

从最雄心勃勃的项目的媒体报道的再现性心理研究发表在科学过去的这个夏天,一个不知道,APS的领导下,心理科学率先解决一个问题,是最高度相关,如果不是全部,当代科学。艾伦•g .德国人最近退休APS执行董事和推动APS积极解决这个问题,而他负责在APS,给风吹内幕的进展这一重要问题。

aps总统c·格里斯泰尔兰迪

还记得那些背后的音乐配置文件在VH1 ?你知道,那些讲述了一些经典的摇滚乐队的职业——啊,那些早期的成功,不可避免的职业生涯挫折(sad),然后(哈!)最终的胜利?好,这是我如何回顾APS和开放的历史科学——就像一个经典的摇滚乐队的轨迹,除了这里,我们正在谈论的音乐研究透明度和再现性。(好吧,也许不是酸岩石)。

今天,我很自豪,科学家认为APS第一次当他们的组织正在寻找一组的一个例子,促进良好的实践研究和发布的数据。我已经在许多会议在华盛顿,我们引用了卓越(格莱美?)——在美国国家科学基金会(NSF),由国家卫生研究院(NIH)研究所的董事,并由美国国家科学院委员会。语言我们开发了复制甚至进入国会报告。但是(提示的小提琴音乐)…它并不总是这样。

当然,我们几乎从一开始取得一些成功。早期APS公约会议上使用非传统统计信息来更好的细节效果或“概率总是SRO”。比尔埃斯蒂斯,我们的旗舰杂志主编,心理科学用于哀叹的问题性质. 05显著性检验,即使它是杂志的早期的主要问题。当詹姆斯切割成为心理科学”2003年年代编辑,他尝试用不同的方法要求数据。,随着时间的推移,这让你可以从任何预测最下载文章APS杂志根据其方法针对的是透明,即使当前实践的文章是至关重要的。(想想p黑客,西蒙斯,尼尔森,Simonsohn心理科学文章“假阳性心理学。”)

但APS对开放科学的贡献作为组织优先真正开始在2011年12月与APS的理查德。m . Suzman末,共进午餐然后国家老化研究所(NIA)部门主管社会和行为科学;罗伯特·卡普兰,那么美国国立卫生研究院办公室主任行为和社会科学研究(OBSSR);和我。(让人想起了奶油是如何开始的?或者是只是我吗?)一般的讨论集中在方法研究,借给信誉发表的结果。(现在它提醒你的奶油,对吧?)

NIA正在考虑如何释放大量的数据从其健康和退休调查再分析。苏茨曼想知道他是否应该给期刊编辑方向限制肯定会出现的假阳性。毕竟,如果你在一个巨大的数据集运行成千上万的测试,你一定会找到一定数量达到统计学意义的机会。和“你知道这些将会成为第一个发表,”他说。同时,卡普兰刚刚开始分析NIH临床试验的方式会发现一个奇怪的发现:试验做过一个NIH要求注册,假设趋向意义和试验完成之后往往向nonsignificance。我分享我的观点,所以很多人我听说从我们的成员倡导科学的透明度。讨论心理科学家似乎无处不在——在邮件列表;在会议上;和APS编辑、董事会和委员会成员和其他领导人——诸如“档案柜问题”,相信社会启动效应(或怀疑),以及如何让重要的复制(nonreplications)出版。

但是,午餐也发生一种低期间造成的丑陋揭露一些现在著名的欺诈的情况下在我们的领域——Diederik Stapel被最明显的情况下——这毫无疑问会被发现之前如果更好的报告方法。别忘了,在同一时期,的纽约时报和其他媒体正确地嘲笑预知能力研究(即。ESP)发表在著名心理学杂志(严格)同行评审之后。一些人认为心理科学的绳索,不分手洋子披头士的悲剧,但足够糟糕,我们要采取行动。我们知道,心理科学可以做的更好。我有尽可能多的写。

以后,许多附加午餐(嘿,乐队要吃!)和几个失败的开端——par复出,我们组织了一个小型会议2012年6月在APS总部。那些出席领导心理研究人员——APS前任主席亨利l .“罗迪”Roediger三世;半岛体育官方网址入口诺贝尔奖得主和APS威廉·詹姆斯的丹尼·卡尼曼;和APS布雷恩·哈尔Pashler,乔纳森斯古乐。芭芭拉“博比”首位,编辑的心理科学观点代表也参加了,连同OBSSR (Kaplan), NIA(苏茨曼,尼尔森,乔恩·王),美国国家医学图书馆(Deborah Zarin)和国家精神卫生研究所(Stefano Bertuzzi)。我们开始探索相关问题复制和假阳性结果的报告。我们开始制定策略研究人员,期刊编辑,和资金的组织可能会解决这些问题,首先是行为科学半岛体育官方网址入口。会议之后在2012年9月一个较小的一个,包括埃里克•可以编辑的心理科学,专注于特定的方式APS可能利用自己的期刊,以更广泛的领域。bd体育在线app下载安卓

这些讨论导致变化——一些自愿的,,心理科学。我们寻求扩大报告的方法和结果和详细描述的样本大小是如何计算的。我们鼓励作者报告所有变量,给人员登记实验的机会,开始提供“徽章”实践,等等。半岛体育官方网址入口APS成为第一个组织认识到开放实践。(阅读可以忍受的编辑,“业务不像往常一样,”更全面的描述;当前临时编辑史蒂夫林赛已经建立了良好的工作。)

2012年9月会议还继续讨论replication-report计划第一个面向心理科学,最终降落在心理科学观点在首位。APS的丹尼尔·西蒙斯,*走近我开会前复制项目,也参加了,成为合编者与亚历克斯Holcombe现在包括珍妮弗·塔克特的注册复制报告倡议。2013年,来自10个国家的31个实验室申请参与第一个复制项目,超出预期的数字。我们知道了我们的手。

我们也委托“教程”教育效果上的科学家,置信区间和相关的话题。一些教程运行定期研讨会在APS年度约定。APS的Geoff Cumming集的在线课程,“新统计:评估和研究的完整性,”是免费的在线教程。Cumming写了一本书和一个受欢迎的开放获取心理科学文章相同的主题。

2012年11月,首位发表一个完整视角问题“可复制性心理科学和研究实践。”我们免费共享的问题,这是访问超过350000次在前几周。它现在已经被下载全部或部分超过660000次。(白金!)特殊问题也得到了很大的注意力从科学作家在社会和传统媒体。(好吧,不是广告牌)。从那时起,视角发表了很多相关文章,所有这一切都是免费的访问和所有的大规模的下载数量。

APS的开放科学成就的列表等等,我们组织了一个横切半天题为“miniconference”“建设一个更好的心理科学:数据实践和复现性好”在2013年的APS年会。第二天,我们举行了非正式的聚会30左右的副编辑,编辑和高级研究人员,从NSF和代表,NIH,总统科学和技术政策办公室进一步讨论这些问题并开始下一步建立共识。半岛体育官方网址入口基于响应这个聚会,我们坚信类似的会议将是有用的,甚至consensus-development过程中必不可少的。另一个开放科学事件举行的正式和非正式的会议的欧洲社会认知心理学(ESCoP)在2013年晚些时候,再接受一个美妙的接待。自那时以来,我们已经成功地举办其他会议和许多演示了APS在做什么。我们继续分享我们的活动机会出现。

例如,APS前任主席John Cacioppo帮助组织2014 NSF演唱会…呃,车间,“社会,行为,经济科学观点健壮和可靠的科学,“APS帮助基金。会议导致另一个特别关注科学期刊如何促进开放。bd体育在线app下载安卓布雷恩·bd体育在线app下载安卓诺斯克的期刊会议是最近成立了开放科学中心(COS),并绘制,主编科学。可能没有更重要的是人的发展比Nosek开放科学运动,也是关键的APS早些时候会议和项目,和因为已成为科学透明的重要力量。(充分披露:我坐在因为董事会,和APS是由劳拉和约翰·阿诺德基础通过因为自己的复制工作。阿诺德也因为的主要资助者,本身就是这个运动的重要力量。)

Nosek,绘制美好的会议通过《政策在开放实践发生在2014年11月在COS办公室”名义透明度和开放促进委员会(上)。“我是一个委员会首位和可以忍受的一部分。委员会宣布其透明度和开放促进(上)今年6月在指导方针科学。影响可以是提交指南心理科学,指导方针旨在鼓励透明度和开放在各领域的科学研究。的指导方针,心理科学开放数据的最早建立的一个徽章,开放的材料,和预先登记已经作为例子杂志的政策鼓励采用开放实践——APS和我们期刊都是领先的。bd体育在线app下载安卓事实上,有一次,一个40(哎呀!)的作者科学文章建议,“为什么我们不能只是说,‘这样做像他们一样心理科学!”?”另一个仿真陈述:五14引用的科学一块来自APS期刊。bd体育在线app下载安卓(想想APS的版税将是如果这是一个专辑!)

我们在APS是致力于发展和传播政策和实践之间的组织、期刊和资助机构,促进数据共享,良好的研究实践,和再现性。bd体育在线app下载安卓我们已经在过去的几年中迅速采取行动,在这些方向采取具体步骤,与其他几个项目计划在不久的将来。所以看这个空间。谁知道呢?我们可能会变得团结起来了!