TaskMaster:确定在线参与者何时在执行任务的工具

多年来，在线收集数据已经很常见了(见Buhrmester等人，2018;Gosling & Mason, 2015)，以及COVID-19大流行对现场数据收集的限制，使其成为一种更加普遍的研究实践。然而，从高度控制的实验室环境转移到参与者无法被密切监控的在线环境可能会引发人们对参与者是否按照指示执行实验任务的怀疑。

尽管一些研究人员已经表明，在半岛体育官方网址入口线收集的数据往往与实验室收集的数据质量相同，甚至更高(例如，Dodou & de Winter 2014;Gosling等人，2004年)，其他人对在线受试者池的注意力、诚实度和体验提出了担忧(例如，Chandler等人，2014年)。

TaskMaster可以解决其中一些问题。这个免费工具由卡内基梅隆大学的Stephanie Permut、Matthew Fisher和APS研究员Daniel M. Oppenheimer开发，它可以帮助研究人员识别在线参与者在通过qualtrics(一个经常用于心理科学实验的在线调查平台)测试时偏离任务(例如，半岛体育官方网址入口使用其他在线应用程序)。在2019年发表在《心理科学方法与实践进展》上的教程中，Permut和同事详细介绍了TaskMaster的几种应用，并提供了使用指南。

Permut告诉《观察家报》:“我们开发TaskMaster是为了帮助研究人员更好地解半岛体育官方网址入口释Qualtrics数据中的任务外参与者行为。”bdapp官网下载TaskMaster将任务外行为定义为参与者离开Qualtrics调查窗口的时间。TaskMaster的输出可以作为参与者注意力不集中的代表，也可以作为参与者注意力集中在应该集中的地方的指标(即，参与者正在按照指示完成任务，如果外部资源被禁止，则不会利用这些资源)。

衡量工作时间的工具

通过亚马逊Mechanical Turk (MTurk)招募的参与者报告说，在执行实验任务时，从浏览不相关的网页到使用手机，多任务处理的比例很高(Clifford & Jerit, 2014)。多任务处理会产生注意力分散的问题，这会降低数据质量并增加错误率(Borst et al.， 2010)。TaskMaster使用JavaScript创建变量，表示参与者进入和离开活动调查窗口的频率，以及他们完成实验任务和在给定窗口中停留的时间长度。

TaskMaster是一个经过验证的工具PageFocus的扩展，由Diedenhofen和Musch(2017)实现。它可以很容易地在现有的Qualtrics界面中使用，但它超越了Qualtrics的页面计时器，它允许研究人员监控参与者在给定页面上花费的时间，也允许研究人员跟踪参与者在给定页面上花费的时间——即使它仍然打开着。半岛体育官方网址入口

加载页面会触发一个计时器，跟踪调查或任务窗口保持关注的时间。计时器还会测量和总结该窗口打开但焦点不集中的时间(例如，由于其他选项卡或应用程序的活动)。因此，TaskMaster会生成一个索引，显示参与者在调查的每一页上花在任务上和任务外的时间，创建一个调查或实验期间所有任务上和任务外活动的汇编。

参与者并不知道TaskMaster的存在，但它不会侵犯他们的隐私，因为它不会追踪他们在任务之外的时间花在哪里，只会追踪他们在任务之外停留了多长时间。

实现工头

TaskMaster的JavaScript代码可在github.com/steve-permut/TaskMaster以及APS网站上的这篇文章。代码可以很容易地添加到Qualtrics调查构建器中。

要添加代码，请粘贴github.com/steve-permut/TaskMaster/ blob /主/ HeaderCode.html到你的Qualtrics调查的标题源HTML，在调查的Look & Feel菜单的General选项卡。当您从Qualtrics下载调查数据时，花费在任务上和任务外的时间将表示为正(任务中)和负(任务外)值的数组。

此外,TaskMaster的页脚代码允许研究人员跟踪导航数据半岛体育官方网址入口贯穿整个调查(而不是某一页)。将其粘贴到标题源HTML中，也可以在Look & Feel菜单的General选项卡中找到。

TaskMaster在每个监控页面输出5个变量:

• worktimeArray:在任务上和任务下花费的总时间
• onTask:在任务上花费的时间，以项数组的形式显示，表示主题的光标每次进入工作空间的时间，以及主题在任务窗口中花费的时间
• totalOnTask:完成任务所花费的总时间(不减去任务以外的时间)
• offTask:在任务之外花费的时间，以一组项的形式显示，表示主体的光标每次离开工作空间的时间，以及主体在任务之外花费的时间
• totalOffTask:在任务外花费的总时间

您必须手动将这些变量作为空嵌入变量添加到Qualtrics的Survey Flow中。要添加空的嵌入式变量，点击“+添加新元素”，然后点击“嵌入式数据”。接下来，点击“创建新字段或从下拉菜单中选择”，输入第一个变量名。然后，单击窗口下方的“添加一个新字段”，对其余每个变量重复此过程。准确地按照所示标记变量。为了使脚本正常运行，禁用研究转换(也可以在调查的Look & Feel部分中访问)。然后在qualtrics生成的电子表格中导出这些变量和其他数据。

该工具将Qualtrics输出的单列数组拆分为一组每页变量。电子表格中的每一行代表一个参与者的数据，调查的每页有四列:

• Page_N:页面级别的开启和关闭任务行为，负数表示游标在任务窗口外的间隔时间，正数表示游标在任务窗口内的间隔时间
• Page_N_ClickAways:主题点击离开页面的次数(对应于Page_N数组中负值的计数)
• Page_N_TimeOffPage:离开给定页面的总时间(Page_N数组中负值之和的绝对值)
• Page_N_TimeOnPage:在给定页面上花费的总时间(Page_N数组中正值的总和)

对这篇文章的反馈?电子邮件apsbdapp官网下载observer@psychologicalscience.org或者向下滚动查看评论．

参考文献

Borst, J. P.， Taatgen, N. A. & Van Rijn, H.(2010)。问题的状态是:多任务处理中的认知瓶颈。 实验心理学杂志:学习，记忆和认知， 36(2)，363。https://doi.org/10.1037/a0018106

布尔梅斯特，医学博士，塔拉法尔，S. &高斯林，S. D.(2018)。对亚马逊的土耳其机器人的评估，它的迅速崛起，以及它的有效使用。 心理科学展望， 13(2)，149-154 . https://doi.org/10.1177/1745691617706516

Chandler, J.， Mueller, P.， & Paolacci, G.(2014)。Nonnaïveté亚马逊机械土耳其工人:行为研究人员的后果和解决方案。半岛体育官方网址入口 行为研究方法， 46(1)，112-130。https://doi.org/10.3758/s13428-013-0365-7

Clifford, S. & Jerit, J.(2014)。便捷性有代价吗?实验室和在线研究数据质量的实验比较。 实验政治学杂志， 1(2)，120-131。https://doi.org/10.1017/xps.2014.5

Diedenhofen, B. & Musch, J.(2017)。PageFocus:使用paradata在在线成绩测试中检测和防止作弊。 行为研究方法， 49(4)，1444-1459。https://doi.org/10.3758/s13428-016-0800-7

Dodou, D. & de Winter, J. C.(2014)。社会可取性在线下、在线和纸质调查中都是一样的:一项元分析。 计算机与人类行为， 36,487-495。https://doi.org/10.1016/j.chb.2014.04.005

高斯林，S. D. &梅森，W.(2015)。 心理学的网络研究。心理学年度评论，66(1)，877-902 . https://doi.org/10.1146/annurev-psych-010814-015321

高斯林，S. D.，瓦齐尔，S.，斯里瓦斯塔瓦，S.和约翰，O. P.(2004)。我们应该相信基于网络的研究吗?网络问卷六种先入之见的比较分析。 美国心理学家， 59(2)，93-104。https://doi.org/10.1037/0003-066X.59.2.93

Permut, S.， Fisher, M.， & Oppenheimer, D.(2019)。监工:一个用来确定受试者何时开始工作的工具。 心理科学方法与实践进展，2(2)，188-196 . https://doi.org/10.1177/2515245919838479