学生笔记本:优点,缺点,建议使用亚马逊的土耳其机器人

亚马逊的土耳其机器人(MTurk)是一个在线的众包平台旨在帮助招募人们完成各种任务(博尔,Kwang &高斯林,2011)。总体而言,亚马逊的广告MTurk服务提供访问来自190个国家的超过500000个不同的工人;然而,绝大多数(75%以上)的MTurk工人住在美国和印度(Paolacci &钱德勒,2014)。任务发布在MTurk通过“请求者”,被称为人类智慧任务(点击),长度范围和持续时间,完成“工人”,通常小,费用。任务发布请求者在MTurk被称为人类智力的任务(点击)。

MTurk是一个伟大的数据收集工具,研究生的研究人员正在研究一种新颖的趋势但可能关心发现大量的参与者在一个合理的时间。半岛体育官方网址入口MTurk还可以有利于有人试图扩大他们的项目的普遍性的典型研究使用一个以白人为主的/欧美,富裕,本科生。MTurk可以有利于收集不同样本在一个简短的时间长度,某些缺点时,应该考虑使用这个众包服务。下面是几个优点和缺点使用MTurk数据收集。

好处:

• 总体而言,样本来自MTurk可能会比样品更多样化的本科生(博尔et al ., 2011)。参与者通常是年龄的增长,更多的在地理上代表美国,和更多样化的参与者从本科收集样本。
• 收集的数据的可靠性MTurk尚未发现明显不同于其他方式收集的数据。参与者的反应通常使用MTurk回答可靠和一致,就是明证高两次试验法的可靠性即使经过一段时间的3周(博尔玛,2011)。
• MTurk软件支持其他调查的嵌入软件(例如,Qualtrics)。在这方面,许多不同类型的研究方法是有可能使用MTurk工人,包括纵向、定性和混合方法。

缺点:

• 研究表明,用户从一般人群MTurk有一些根本性的差异。MTurk工人受教育程度更高,更少的宗教,比一般人更容易失业(古德曼,克莱德,& Cheema, 2013)。如果研究人员正在调查具体的趋势在少数族裔人口,如水平的宗教信仰,或教育差异,这些文化差异可以让未来的结果,限制普遍性。
• MTurk工人的年龄和社会经济状态的范围可能比一般人群中更为有限。虽然MTurk似乎包含一个不同样本的工人,从逻辑上讲,老年人可能不太可能利用技术。从根本上讲,MTurk需要一些基于网络平台的使用以及技术的可用性,以适应这样的活动(例如,一台电脑,一台笔记本电脑,一台iPad)。老年人和那些在较低的社会经济状态,很多人可能没有访问使用MTurk所需的技术。另外,特别是老年人,可能有一个缺乏熟悉基于web的服务,比如MTurk,导致使用的可能性较低。
• 半岛官方体育app多样性是没有代表性的同义词。研究表明,大量的工人使用MTurk谁属于某些种族/民族可能低于一般人群中发现的数量(Paolacci et al ., 2014)。特别是,这一趋势已经发现相对于非洲裔美国人和西班牙裔美国工人(Paolacci et al ., 2014)。

鉴于上述局限性,当抽样工人MTurk你可能最有可能遇到白人,技术娴熟,受过高等教育的世俗的工人。存在一些有用的策略,然而,为了减轻这些缺点并获得你想要的样品。

建议:

• 很明确的在你的标题和描述。虽然MTurk有能力为研究人员购买“资格”,包裹出群体按照一定的规格,目半岛体育官方网址入口前还没有“资格”专门为人口,如种族和民族。为这个限制,控制在两个的标题和描述,对感兴趣的人口规范使用大写字母。这种方法可以简化这个过程,帮助收集更多的参与者从感兴趣的人群。
• 实现“检查”到你的任务,评估人的人口统计响应。一个额外的方法来收集参与者的反应符合规范的利益是包括一个“检查”到你的任务。参与者应该在他们开始之前填补这一“检查”的实际任务。举个例子,在我工作的一项研究中,参与者没有非洲裔美国人仍然提交响应即使击中的标题和描述明确表示渴望完全非裔美国人的参与者。为了减少潜在的这些反应,我们增加了一个问题之前的管理研究问卷问,“你的种族是什么?“通过这种方式,我们分离出那些已经通过研究不符合人口感兴趣的资格。
• 明白并同意招聘不同人群通过MTurk可能是一个缓慢的过程。MTurk的优点之一是能够招募大量的参与者在一个相对便宜的,加速的方式(Follmer斯珀林,&孙,2017)。然而,重要的是要记住,大多数MTurk用户白种人/欧洲的美国人。因此,如果你正试图样本为参与者从一个特定的少数群体,你需要持续收集大样本。通常,研究人员半岛体育官方网址入口能够更快地收集他们的数据可能不会寻求收集参与者从一个特定的少数群体。

MTurk可以成为一个伟大的方式招募不同样品快速、经济合算的方式;然而,MTurk之间的内在差异观察样本和样本收集使用传统方法可能会在结果的科学性提出了重大挑战。这些差异包括宗教、科技、教育、与年龄相关,社会经济,有关的差异。此外,同样的道德指南,你会坚持与其他参与者收集人口必须维护MTurk工人尽管限制这个程序在个人互动的地方。使用MTurk总是注意的影响,并与数据收集好运气。

引用

博尔,M。Kwang, T。和高斯林,s . d . (2011)。亚马逊的土耳其机器人:廉价的新来源,然而,高质量的数据?心理科学观点6 (1),3 - 5。doi: 10.1177 / 1745691610393980

Follmer d J。斯珀林,r。和孙,h . k . (2017)。MTurk在教育研究中的作用:优势、问题和未来的发展方向。教育研究人员,46岁,329 - 334。doi: 10.3102 / 0013189 x17725519

古德曼,j·K。克莱德,c, E。& Cheema a (2013)。数据收集在一个平坦的世界:Mechanical Turk样品的优点和缺点。杂志的行为决策,26岁,213 - 224。doi: 10.1002 / bdm.1753

Paolacci G。和钱德勒,j . (2014)。在土耳其:了解土耳其机器人作为一个参与者池。心理科学当前的方向,23 (3),184 - 188。