MTurk工人更抑郁但“机器人”和人口膨胀差异数据

通过网络平台进行心理学研究如亚马逊的土耳其机器人(MTurk)比以往任何时候都更为常见,但使用这种方便的参与者可以提供一个独特的挑战。与之前的调查结果,研究临床心理科学表明,多达11%的MTurk参与者中,只有3%到7%的普通人群,可以满足对抑郁症的诊断标准。然而,报告明显夸大了劣质的反应和社会人口的差异。

“知识背后的原因增加患病率(抑郁症)不仅是有趣的而且也需要准确的解释研究结果,“写心理科学家班俄斐(耶路撒冷的希伯来大学)和他的同事们。”在某种程度上,这一发现反映了真正的区别,患病率增加使得MTurk更方便和有吸引力的招聘平台,临床研究人员。”半岛体育官方网址入口

研究者深半岛体育官方网址入口入挖掘数据质量如何,人口和其他因素可能导致所谓的“turk蓝调”通过一组两个在线研究。

据说在2719年的首次研究MTurk参与者生活在美国,俄斐和他的同事们专注于如何反应
疏忽和假“bot”账户可能会影响自我报告率
抑郁症。

参与者报道什么,如果有的话,抑郁症的症状他们过去经历过2 weeks-including无望,注意力难以集中、睡觉或饮食习惯的变化,以及自杀ideation-on 0 (一点也不)到3 (几乎每天都)。按照这个标准,个人报告经历5个或更多抑郁的症状在超过一半的天在过去2周可能被描述为重度抑郁症。

清除自动或假账户,研究人员应该注意的任何MTurk工人可疑IP地址;半岛体育官方网址入口这样的地址显示账户可能是托管在一个私人服务器。他们还指出那些non-US-based IP地址,考虑到机器人账户在很大程度上被发现来自美国以外的国家。

此外,俄斐和他的同事针对低质量反应使用一个程序,评价参与者对注意力的基础上一系列的8个指标,包括阅读速度和反应的一致性。这使得研究人员将参与者分为三个类别半岛体育官方网址入口:细心的工人,通过注意检查;可疑的工人,谁没有一个注意检查;和粗心的工人,他们失败的两个或两个以上的注意检查。

使用这些策略,研究人员发现236名工人与非美国或其他可疑半岛体育官方网址入口IP地址,35%的人没有注意检查,相比之下,7%的参与者使用nonsuspicious IPs。他们还发现了一个额外的181漫不经心和427可疑地细心的工人离开共有1848名参与者都是细心和使用nonsuspicious IP。

总的来说,18.5%的所有参与者报告症状符合抑郁症的标准。这个数字是严重倾斜,然而,通过工人的报告可疑IP地址或漫不经心,俄斐和他的同事写道。事实上,尽管26%到38%的工人与可疑IP地址或怠慢或有疑问的人细心的工人符合抑郁症的分界点,只有13%的细心的工人报告5个或5个以上症状。

与之前的研究一致,这表明,抑郁症的患病率MTurk工人大大高于一般人群,俄斐和他的同事们在论文中写道,但可能需要更严格的参与者过滤,防止劣质反应进一步膨胀这些结果。

临床措施可以特别容易受到假和疏忽的反应,研究人员注意到,因为这些受访者倾向于选择答案对的规模,对于特定的诊断措施可以导致会议参与者抑郁的分界点。半岛体育官方网址入口

“尽管在这项研究中我们特别关注抑郁,我们的发现的影响未能屏幕漫不经心和可疑的受访者对于任何crowdsourcing-based相关临床研究,“俄斐和他的同事写道。等“病态社会焦虑可能被人为地夸大了。”

研究人员半岛体育官方网址入口试图复制这些结果,进一步研究社会人口的影响在抑郁症的患病率MTurk工人,通过2444年的后续研究美国MTurk工人。

过滤后的工人有可疑IP地址或漫不经心,剩余的11% 1461年细心的参与者发现抑郁症的标准。相比之下,5134年只有3.6%的人参加面对面的访谈为美国疾病控制和预防中心的2015 - 2016年全国健康和营养调查(NHANES)被发现满足抑郁症截止。

此外,MTurk工人被发现明显更年轻、更多的身体活动,报告睡眠质量差比NHANES的代表性研究。这些因素都与抑郁症的风险增加,俄斐和他的同事写道。另一方面,MTurk样本也更多的受过高等教育的,报告更高的收入,并且更容易使用比NHANES的研究中,参与者的因素被发现降低抑郁风险。

“大约一半的这种差异可以归因于不同的复合MTurk样品和一般人群(即。,sociodemographics, health, and physical activity lifestyle),” write Ophir and colleagues—and there are a number of potentially provocative explanations for the remaining difference.

一方面,已经患有抑郁症的人更有可能参与了在线调查从舒适的家中。也有可能使用MTurk可能导致抑郁情绪的增加,研究人员写道。半岛体育官方网址入口这可能是由于要么过度屏幕时间的潜在有害影响或社会孤立这些任务的性质,这可能会影响参与者的过着有意义的生活。

第三更关于替代,俄斐和他的同事们在论文中写道,人们可能只是更舒适诚实报道抑郁症的症状在网上设置,在这种情况下,实际一般人群中抑郁症发病率可能明显高于面对面的访谈。进一步的工作是要缩小潜在原因,或原因,无法解释的差异这些样本的抑郁率,研究人员总结道。半岛体育官方网址入口

参考

俄斐,Y。,Sisso, I., Asterhan, C. S. C., Tikochinski, R., & Reichart, R. (2020). The Turker blues: Hidden factors behind increased depression rates among Amazon’s Mechanical Turkers.临床心理科学,8(1),65 - 83。https://doi.org/10.1177/2167702619865973