圣人奖项荣誉APS两篇文章10年期的影响
两个2011 APS期刊文章探索亚马逊土耳其机器人的崛起(MTurk)和接受假阳性结果的风险得到了圣人出版第三年度奖10年期的影响。他们之间有11600多引用,APS的两篇文章,以及发表的三分之一斯堪的纳维亚的公共卫生》杂志上圣人,是最常被引用的研究发表于2011年。
”亚马逊的土耳其机器人:廉价的新来源,然而,高质量的数据?”,由迈克尔•博尔特蕾西Kwang,塞缪尔·d·高斯林出现在心理科学观点,有7500多个引用。”假阳性心理学:未披露的数据收集和分析的灵活性允许呈现任何意义重大,”约瑟夫·p·西蒙斯列夫·d·纳尔逊和乌里出现心理科学,有4100多个引用。
“一种方法并不适合所有测量研究卓越,和单纯依赖指标跟踪引用两年后未能捕获的价值研究可以继续把这两个分离的内部和外部的学术界长得多,”说Ziyad Marar,圣人的全球发布,总统新闻稿。“作为一个公司致力于使知识的发展和持久的影响公共利益,我们希望这些奖项将鼓励一个更微妙的阵列捕获复杂的指标,微妙,分散,多层and-often-long-term性质研究的影响。”
亚马逊的土耳其机器人:廉价的新来源,然而,高质量的数据?
MTurk),被设想为一个众包的网站请求者雇佣远程执行离散任务“crowdworkers”,于2005年11月2日公开推出。很快,心理科学家开始使用这个平台来收集数据。然而,数据完整性和可靠性的担忧出现。在2011篇文章中,博尔、Kwang和高斯林提供的第一个评估MTurk连同其潜在贡献的描述心理学等社会科学。
研究人员半岛体育官方网址入口分析了样品上可用MTurk以及他们的表现反映了补偿。博尔玛和他的同事们得出的结论是,MTurk参与者稍微比互联网标准样品和更多样化的人口多样化比典型的参与者在心理学experiments-American大学生。补偿率和任务长度似乎影响参与,研究人员报道,但参与者仍然可以被快速和廉价地。半岛体育官方网址入口当补偿率适当的任务,数据的质量相媲美,在实验室中收集的数据或通过传统的方法,和数据的可靠性模糊的传统上收集的数据。总体评价是MTurk可以用来快速和廉价地收集高质量的数据。
“我们预料MTurk将很快成为心理学研究的主要工具,在社会科学的其他地方,”博尔玛和他的同事在2011年预测。他们是对的。
相关:引擎盖下的机械土耳其人
假阳性心理学:未披露的数据收集和分析的灵活性允许展示什么是重要的
接受假阳性结果(即。,获得一个具有统计学意义p值,因此拒绝零假设是真的)科学的健康发展带来了很多风险。假阳性是持久一旦发表,他们浪费资源激励投资在毫无结果的研究项目,他们可能导致无效的政策变化,西蒙斯写道,尼尔森,Simonsohn 2011篇文章。此外,“一个字段以出版误报风险失去信誉。”
高被引文章,西蒙斯和他的同事发现,在2011年,现有标准披露的细节数据收集和分析了假阳性很可能和使它“不可接受容易发布“显著”证据符合任何假设。”潜在的人员作出决定关于数据收集它的发生半岛体育官方网址入口和事实后,分析和探索不同的假设研究员的自由度面部这种通货膨胀的假阳性,他们补充说。
西蒙斯和他的同事说明这个问题的两个实验,旨在证明,某些歌曲可以改变听众的年龄。尽管这个“发现”显然是错误的,他们的分析产生假阳性。他们还提供了一个仿真说明多高误报率可以当研究者有不同的自由度。半岛体育官方网址入口
重要的是,作者提供了一个研究人员和评论者的建议列表在心理科学减少假阳性。半岛体育官方网址入口这些建议包括“作者必须决定的规则终止数据收集数据采集开始前和本文报告这个规则”和“作者必须报告所有的实验条件,包括失败的操作。”文章发表后,打开科学实践变得越来越常见,与研究人员对他们的数据收集和分析变得更加透明。半岛体育官方网址入口2014年,APS开始鼓励研究人员注册他们的假设和方法,这样他们的半岛体育官方网址入口自由度可以减少心理科学和误报率减少。
反馈这篇文章?电子邮件apsbdapp官网下载observer@psychologicalscience.org或登录置评。
作品的引用
博尔,M。Kwang, T。,& Gosling, S. D. (2011). Amazon’s Mechanical Turk: A new source of inexpensive, yet high-quality, data?心理科学观点,6(1)3 - 5。https://doi.org/10.1177/1745691610393980
西蒙斯,j . P。,Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant.心理科学,22(11),1359 - 1366。https://doi.org/10.1177/0956797611417632
APS定期打开特定的在线文章讨论在我们的网站上。有效的2021年2月,你必须登录APS成员发表评论。通过发布评论,你同意我们社区指导原则和显示您的个人信息,包括你的名字和联系。任何意见、发现、结论或建议在文章评论的作家和不一定反映APS的观点或文章的作者。有关更多信息,请参阅我们的社区指导原则。
请登录你的APS账户置评。