引擎盖下的机械土耳其人

当亚马逊推出产品土耳其机器人(MTurk)就在十年前,电子商务巨头宣传它的在线服务,使一个市场人员完成任务,以换取支付。但是没有多久,产品成为全球心理科学的一个重要的研究工具。

2011年,心理学研究者迈克尔·博尔特蕾西Kw半岛体育官方网址入口ang, APS的山姆·高斯林发表了一篇论文心理科学观点题为“亚马逊的土耳其机器人:廉价的新来源,然而,高质量的数据?”该报引用超过2300次,根据谷歌学者。

很容易看出为什么MTurk有这样强烈的兴趣。网上数据收集可以更快,MTurk对象通常是补偿率低于大学生或个人从其他样品,让MTurk研究低于平均水平。各种各样的服务也是一个均衡器,小型学校可以访问大型研究人员以前只能在更大的样本,研究大学半岛体育官方网址入口。很难击败在线发布的一项研究的方便就睡前和醒来,一个完整的数据集。

但是在过去的几年里,心理科学家已经开始查看MTurk用比较挑剔的眼光。很多人关心的独特特征MTurk样本,适量补偿MTurk主题,最近的费用增加,亚马逊已经征收研究人员使用服务。半岛体育官方网址入口

一个独特的人口

MTurk成功的一个基本方面是,在大多数情况下,对象池出现生产质量数据。最早的一些MTurk研究决定,从在线研究结果通常镜子从实验室研究结果。APS研究员Jeffrey Karpicke(普渡大学),使用工具来研究学生的学习和记忆,相信,这使得服务的一个有价值的工具。

“我们非常热衷于MTurk。我们做了几个实验在实验室和在MTurk Karpicke说:“结果是一样的。
“我认为人们完成研究MTurk非常重视的任务所需的——可能超过本科生做实验心理学导论。”

虽然结果可能是一致的在实验室,MTurk-based版本的研究中,一些研究人员继续调查的特质MTurk对象池。半岛体育官方网址入口

科学家们是最早的用户MTurk声称他们被捕获样本代表远远超过传统的本科学生。但现在,研究人员已半岛体育官方网址入口经确定,MTurk学科有其自身的独特的特点。

Gabriele Paolacci(伊拉斯姆斯大学鹿特丹,荷兰)和杰西·钱德勒(密歇根大学和Mathematica Policy Research)总结这些差异2014篇文章心理科学当前的方向:

“工人往往是年轻(30岁),使接受过多教育,未充分就业的,宗教,和比一般人更自由…在美国,亚洲人相对过多,黑人和西班牙裔人口作为一个整体,”他们写道。“它不应视为普通人群的代表。”

许多MTurk对象依赖于服务作为一种收入来源。他们聚集在在线社区,类似于员工会议在水冷却器。这些社区,如Turkopticon(由加州大学的研究人员,圣地亚半岛体育官方网址入口哥),允许MTurk科目率实验或实验室各种不同的维度,包括补偿主体。(这个作者的评级Turkopticon下面发现——看来,他可以改善他支付对象。)另一个数字可以找到水冷却器subreddit“点击”值得为土耳其人在Reddit.com上。

Turkopticon_Andy

这些评级是否以及如何影响受试者参与一个给定的质量研究尚不清楚,这些问题应该未来调查的重要主题。

与在实验室的一项研究中,研究人员可以观察到一个主题做了一个实验,互联网的便利有一定程度的不透明性,可以完全掌握的一个挑战。半岛体育官方网址入口研究人员可以使用操作和注意检查作为一种试图评估受试者是否符合研究的指令,但是没有办法保证工人实际上是把他们的注意力研究任务。事实上,有些人甚至承认在工作时间完成MTurk任务。

另一个问题有一个核心的社区工作者,他们最终可以成为“专家”科目。而大学本科生可能花一年或两年参与一些研究在许多心理学学科,MTurk主题,平均而言,参与许多的研究中,有时同时或在很短的一段时间。一个2015年的研究由一个国际研究小组的研究表明,这些受试者经历共同研究材料半岛体育官方网址入口(例如,“ball-and-bat问题”)意味着他们可能并不像研究人员期望他们的回应。半岛体育官方网址入口

钱德勒和他的同事跟进受试者完成了早些时候通过MTurk一系列心理学的任务。受试者联系了几天,一个星期左右,约一个月后首次在线参与和被要求完成相同的任务。一些受试者在最初分配给相同的条件,而其他人则分配给不同的条件。

的心理科学家发现,实验操作的影响相比,在第二个实验中第一个小。效果的下降是最当受试者被分配给一个不同的条件比他们在第二项研究中分配给在第一。

作者写道,他们发现“没有机制下降的直接证据,”但推测一些潜在的因素,包括实践效果,认知精化、和动机来执行某种方式——可能在工作。

此外,大量的重复受试者参与一个给定的实验意味着MTurk的比人们预计的更窄。一个最近的研究由心理学家尼尔·斯图尔特(英国华威大学)表明,研究人员利用MTurk有一个可用的样本量7300例——大于平均大学研究池但远离来自190个国家的500000名工人,亚马逊的广告。半岛体育官方网址入口

“亚马逊土耳其机器人和其他众包平台,是一个伟大的新工具完成科学,”斯图尔特说。“但人口可能并不像你想的那么大;人口7300人,常与数以百计的其他研究人员,可能是伟大的,但它不是很多。”半岛体育官方网址入口

和许多研究对象表达抱怨他们处理和补偿的方式
参与。

费用和补偿

的平均工资率MTurk远低于每小时7.25美元的联邦最低工资。今年早些时候,PBS新闻时间制作了一篇题为“互联网的隐藏科学工厂“详细描述其中的一些问题。程序描述一个工人估计完成20000调查,一些心理学实验,在5年的时间内(这是每天超过10)。

工资低,有时重复的任务,导致一些MTurk作为“数字血汗工厂”。这就是带领一大群MTurk工人一年前请求亚马逊CEO杰夫·贝佐斯为改善工作条件。一个网站甚至提出了一个MTurk学术请求者的行为准则

“许多工人考虑0.10美元一分钟最低要考虑道德,“文档声明。而且可能有真正的后果违反这些准则:“任务付出少…可能会进入一个高度脆弱的工作池和构成胁迫。“当指控的胁迫,大学制度审查委员会可能会感兴趣。

“我认为有一个很强的情况下支付更多触及生存所需的水平,”斯图尔特说。

钱也成为研究人员利用MTurk论点的来源。半岛体育官方网址入口几个月前,MTurk推出了委员会增加这是成本核算人员更多的钱。半岛体育官方网址入口Twitter围捕的人格与社会心理学学会捕捉人员抱怨更改。半岛体育官方网址入口

在此之前增加,亚马逊支付了10%的受试者在处理费用。现在,费用是40%,假设研究者收集10多个科目的数据。200 - 15分钟的研究主题,例如,最初会花费330美元,但现在成本420美元,假设低支付每分钟0.10美元。

“这些变化是为了使我们能够增加我们的市场和投资带来未来创新机械土耳其人将受益请求者和工人,”声明MTurk官方博客涨价前很短的时间内发生。然而,没有人注意到任何创新。

其他选项

半岛体育官方网址入口研究人员不愿意依靠MTurk就替代合成MTurk数据收集与其他类型的研究。例如,史蒂文•伊斯里一个量化政策分析师国家可再生能源实验室在科罗拉多州之前,使用MTurk测试思想为美国能源部进行大规模的研究。

“MTurk之前帮助我们完善我们的研究的许多方面投入的时间和金钱在一个真实的现场试验,”他说,给一个例子。“我们要进行现场试验的新增强现实决策支持工具,我们使用MTurk帮助我们完善的用户界面。同时在线实验不是一个替代现场试验,它帮助我们理解应用程序指令不清晰、数据可视化领域可能会更有效。”

进行双在线和离线研究还允许研究人员复制在不同人群在寻求出版他们自己的工作。半岛体育官方网址入口

也有研究人员想行为选择互联网研究,同时避免MTurk,半岛体育官方网址入口几种不同的服务如雨后春笋般填补认为需要。一个网站叫多产的学术广告高质量、多样化和天真的科目。服务要求研究人员支付科目至少每小时7.50美元。半岛体育官方网址入口多产的学术是由Ekaterina戴(英国谢菲尔德大学),在心理学博士生,和Phelim布拉德利(英国牛津大学),是谁追求博士学位基因组医学和统计数据。

“我们设计了多产的特别考虑到学术研究,“戴说。“多产的世界各地的24000多名参与者,所以你可以测试不同的文化的影响。”

Qualtrics流行的调查软件,也宣扬其Qualtrics在线样品服务。输入所需的对象数量,调查的长度,和其他几个细节,研究员在他或她开始数据收集的方法。这个网站调查猴子提供了一个名为调查猴子观众的类似服务。其他的选择是详细的2015年预印本由Eyal同行(以色列巴伊兰大学)和他的同事们。

当然,这些定做的样品的成本不同。根据个人沟通Qualtrics营销团队,邀请100名调查对象参加20分钟的实验将“期待低数以千计。“换句话说,这些选项都不可能打败MTurk负担能力。

谨慎行事

半岛体育官方网址入口研究者的看法混合MTurk捕获在2015年在《特殊部分工业和组织心理学。理查德·兰德斯(老道明大学)和酸甜苦辣塔拉贝伦德(乔治华盛顿大学)时的一篇文章强调了所有方便样本,像MTurk,有局限性,科学家不应该害怕使用这些样品,只要他们考虑的影响。其他建议,作者警告不要自动打折的大学生,网络面板,或众包样品,并警告说,“很难收集”数据并不等同于“好数据。”

而其他研究人员警告多次参半岛体育官方网址入口与,动机,和选择性偏差,APS的斯科特•Highhouse和唐张博林格林州立大学,甚至打电话给土耳其机器人“新应用心理学研究果蝇。”

最后,正如博尔玛指出,方便的在线研究影响不仅在研究对象的行为,但也有实验研究的设想。

“MTurk是否已经成为问题深受研究人员,”他说。半岛体育官方网址入口“我想知道多长时间研究人员选择设计一个研半岛体育官方网址入口究什么是可能的在MTurk而不是最生态有效。我也怀疑研究人员正在做尽可能多的提供真正有益半岛体育官方网址入口的研究经历。”

尽管这些担忧,博尔认为MTurk具有强大的潜力。

“在一天结束的时候,”他说,“这是在每个人的最佳利益MTurk社区的发展和繁荣。“œ

酸甜苦辣塔拉贝伦德将在横切主题项目“推进心理科学技术”在2016年的APS年会,23日在芝加哥,伊利诺斯州。

引用和进一步阅读

博尔,M。Kwang, T。,& Gosling, S. D. (2011). Amazon’s Mechanical Turk: A new source of inexpensive, yet high-quality, data?心理科学观点,6,3 - 5。doi: 10.1177 / 1745691610393980

钱德勒,J。,Paolacci G。同行,E。,Mueller, P., & Ratliff, K. A. (2015). Using nonnaive participants can reduce effect sizes.心理科学,26,1131 - 1139。doi: 10.1177 / 0956797615585115

兰德斯,r . N。,& Behrend, T. S. (2015). An inconvenient truth: Arbitrary distinctions between organizational, Mechanical Turk, and other convenience samples.工业和组织心理学,8,142 - 164。doi: 10.1017 / iop.2015.13

Paolacci G。,& Chandler, J. (2014). Inside the Turk: Understanding Mechanical Turk as a participant pool.心理科学当前的方向,23,184 - 188。doi: 10.1177 / 0963721414531598

斯图尔特,N。,Ungemach, C., Harris, A. J. L. X., Bartels, D. M., Newell, B. R., Paolacci, G., & Chandler, J. (2015). The average laboratory samples a population of 7,300 Amazon Mechanical Turk workers.判断和决策,10,479 - 491。从http://journal.sjdm.org/14/14725/jdm14725.pdf获取

评论

篇好文章。你错过了贝茨&兰扎条,北美j .心理。2013年,15日,385 - 394。基本上MTurk有利。如果你喜欢我将发送一个副本。
林恩

嗨林恩-谢谢你的建议!我将调查并让你知道如果我不能找到一个副本。感谢你的阅读。

也许这是我的疏忽,但是我还没有发现任何讨论MTurk收集的数据的机密性。这是短语直接从MTurk网站。“除了披露中描述我们的隐私,我们可能向请求者透露你的姓名,地址,点击完成的数据,和提供者的税收信息。“如果这是真的,先前的研究人员解释这个IRB怎么样?半岛体育官方网址入口IRB好了吗?


APS定期打开特定的在线文章讨论在我们的网站上。有效的2021年2月,你必须登录APS成员发表评论。通过发布评论,你同意我们社区指导原则和显示您的个人信息,包括你的名字和联系。任何意见、发现、结论或建议在文章评论的作家和不一定反映APS的观点或文章的作者。有关更多信息,请参阅我们的社区指导原则

请登录你的APS账户置评。