粗心的回应在基于互联网的调查

技术的进步促使大量使用基于互联网的调查、评估和措施。我们看到互联网调查要求反馈客户,作为心理学的学生,我们管理调查人们在互联网上。基于互联网的调查数据通知应用在组织和知识积累的研究工作,并有充分的理由。方便调查人员与被调查者、易于标准化、速度、和可伸缩性是最半岛体育官方网址入口为突出的一些原因基于互联网的调查很流行(巴拉克&英语,2002)。效用和流行的基于互联网的调查可能会增加符合一般人群中扩大接入互联网。

尽管互联网调查明显有优势,有挑战的数据收集方式。这些挑战来自物理研究员和被调查者的断开,这是固有的基于互联网的调查方法。这个有限的人际互动是一个因素与所谓“粗心的回应”(CR;例如,约翰逊,2005;沃德和池塘,2013)。CR时受访者,不管他们的意图,回应调查的方式,不能准确地反映自己的真实成绩。

有三个原因你应该关心CR。首先,尽管CR的精确描述取决于所使用的指标估计,CR是明显的在许多数据来源于互联网调查(Hardre,克劳松&谢,2012)。第二,CR是复杂,研究人员仍决定如何解决这个问题。半岛体育官方网址入口因此,检测和处理铬的最佳实践仍在发展中。最后,第三,也许最令人信服的理由去关心CR是它可以通过心理扭曲结果和削弱结论的问题。CR在相关性和可靠性估计可能导致问题,规模发展,因子分析基础理论发展和探索性研究的元素(米德&克雷格,2012;森林,2006)。由于这些原因,审慎的研究人员在社会科学的所有领域需要解半岛体育官方网址入口决CR在他们的数据。

基于互联网的调查方法来解决CR

主要有几个方法来解决CR。第一个方法是排除某些受访者的数据展示CR。要做到这一点,研究人员可以计算的CR值指标为每个被调查者和排除数据从受访者CR值指标超出信用评分底线(见下一页“CR的指标”)。半岛体育官方网址入口假设是被删除的数据比保持低质量数据。尽管第一个方法比选择研究方法,这是一个有限的解决CR。消除受访者减少样本量和威胁随机抽样,和结果的普遍性。因此,必须找到防止铬的方法除了正确地识别CR后发生。

第二种方法试图防止CR之前发生。为此,初步研究已经操纵了受访者和研究人员之间的相互作用。半岛体育官方网址入口改变指令警告受访者粗心的后果,确定调查对象(例如,“在每一页的调查您将被要求输入你的名字。”),或承诺反馈关于被调查者数据质量(例如,“你将收到反馈的质量调查结果,是否我们可以使用你提供给我们的信息在完成调查。”)影响了某些形式的CR(米德&克雷格,2012;沃德和池塘,2013)。在一项研究中,研究人员说明,介绍了受访者的受访者表示,他们勤奋但改变不了客观指标的CR(病房、米德、Gasperson &池半岛体育官方网址入口塘,2014)。因此,改变指令可能会减少CR,但是如果限制阻止你操纵你的调查说明吗?

除了操纵指令,还有其他的方法来提高感知交互为了防止CR。可能有前途的方法之一是使改邪归正网络调查通过操纵虚拟存在。添加一个虚拟的人可能会增加感知研究人员和受访者之间的人际互动。半岛体育官方网址入口在最近的一项研究中,一个虚拟的存在人类并没有显示出一个重要的但主要影响做了显示显著的交互影响CR与不同类型的指令(病房&池塘,2013)。虚拟人类出现的时间调查在一个空间,大约是1平方英寸。未来的研究可能揭示更大影响CR通过构造虚拟人类作为一个代理代表研究者。更大的削减CR也可能发现使用虚拟人类特征,如增加互动与被申请人或更大的相似的外表被申请人(Behrend &汤普森,2012)。综上所述,使用说明和虚拟的存在使改邪归正基于互联网的调查在一定程度上可以减少CR。

CR的指标

这引出了一个问题,你怎么知道如果你已经成功的在减少铬?CR指标的值指定的CR出现在您的数据。有各种各样的CR指标因为有不同类型的CR,包括不一致的响应和长字符串相同的反应。幸运的是,研究人员可以从众半岛体育官方网址入口多的CR指标进行选择,下面列出了其中一些(见米德&克雷格,2012,对于一个更完整的讨论CR指标)。

一个常用的CR指示器是instructed-response项。instructed-response项目的一个例子是“为这个项目选择“强烈反对”。“得分的度量是清楚正确和不正确的响应instructed-response物品。注意,嵌入instructed-response过于频繁(即项目。,每隔50多件物品)可以刺激受访者。目前,研究人员使用他们半岛体育官方网址入口最好的判断来确定适当的instructed-response项目对于一个给定的频率的调查。单双数的一致性是另一个CR指示器显示参与者选择等效反应的程度选择测量项目类似的结构。单双数一致性的基本原理是基于逻辑,一个人被强烈不同意和非常不赞成项目评估相同的构造。第三个CR指示器值得一提,因为它可以检测一个臭名昭著的类型的CR在学生样本,即调查项目始终选择回答相同的反应。LongString是CR指标确定的反应模式,受访者选择重复选择了相同的反应。最长的字符串相同的反应成为被LongString值。目前,研究人员使用他们最好的半岛体育官方网址入口判断来确定截止值LongString CR指标;还需要更多的研究来确定最有效的截止值为不同类型的调查。

除了刚刚描述的三个CR指标外,还有其他几个选项,包括自我报告项目(直接问受访者的调查他们是否认为他们的调查反应是足够的质量研究中使用),异常分析和虚假的物品。这三个选择,以及描述的三个指标,在检测不同类型的CR微分效用。因此,研究人员必须决定哪些指标最相关(见米德&克雷格,2012,对于一个更完整的讨论)。

结论

总之,CR和潜在损害的患病率调查数据的质量使这一个重要的话题。各种CR指标可以识别CR事后,而虚拟的存在和指令预防CR的承诺。调查项目中的地址CR,考虑包括精心设计的指令,虚拟的存在,和instructed-response物品和审查事后CR指标。在这些方面,研究人员可以使改邪半岛体育官方网址入口归正基于互联网的调查来提高数据质量。

引用和进一步阅读

巴拉克。,& English, N. (2002). Prospects and limitations of psychological testing on the Internet.技术在人类服务学报,19,65 - 89。

Behrend, t·S。,& Thompson, L. F. (2012). Using animated agents in learner-controlled training: The effects of design control.培训和发展的国际期刊,16岁,263 - 283。doi: 10.1111 / j.1468-2419.2012.00413.x

Hardre, p . L。,Crowson, H. M., & Xie, K. (2012). Examining contexts-of-use for Web-based and paper-based questionnaires.教育和心理测量,72年,1015 - 1038 doi: 10.1177 / 0013164412451977

黄,J。,Curran, P., Keeney, J., Poposki, E., & DeShon, R. (2012). Detecting and deterring insufficient effort responding to surveys.业务和心理学杂志,27岁,99 - 114。doi: 10.1007 / s10869 - 011 - 9231 - 8

约翰逊,j . a (2005)。确定各个协议的有效性基于web的人格库存。39岁的性格研究》期刊上发表,103 - 129。doi: 10.1016 / j.jrp.2004.09.009

米德,a·W。,& Craig, S. B. (2012). Identifying careless responses in survey data.心理方法,17,437 - 455。doi: 10.1037 / a0028085

病房里,m K。,米德,a·W。,Gasperson, S., & Pond, S. B. (2014, May)。操纵指令来减少粗心回应网络调查。论文发表于28日工业和组织心理学学会年会,檀香山,嗨。

病房里,m K。,& Pond, S. B. (2013). Using virtual presence and survey instructions to minimize careless responding on Internet-based surveys.电脑在人类行为。

森林,c (2006)。CR reverse-worded项:对验证性因素分析的影响。《精神病理学和行为评估,28,186 - 191。doi: 10.1007 / s10862 - 005 - 9004 - 7

Yu l . (2011)。/视图的信息和数字划分:呼吁综合理论的信息不平等。信息科学杂志》,37,660 - 679。