个人在他们的环境中:增加严格的评估

人们的社会和物理环境会导致他们的情绪,思想,行为,和症状波动。在过去的30年里,研究人员已经开发出技术来测量这半岛体育官方网址入口些动态过程参与者的日常生活(例如,娼妓& Ebner-Priemer, 2014)。这些动态评价方法包括经验取样方法(ESM;奇凯岑特米哈伊&拉尔森,1987)和生态的评估(EMA);Stone & Shiffman, 1994)。

半岛体育官方网址入口研究人员经常使用术语ESM和EMA互换,虽然他们的历史先例和原始目的不同(Stone & Shiffman, 1994)。娼妓和Ebner-Priemer描述在2014年的一篇文章电流方向在《心理科学》,“经验取样强调随机抽样计划通常包括纸笔日记和呼机,而生态的评估通常是使用电子日记与短暂的自我报告。“这些方法可以提供有价值的信息,但其使用要求研究者做出许多方法和统计决策,增加的可能性变化和挑战的透明度,再现性,和可复制性的研究。

增加这些方法的严谨性,奥利维亚j . Kirtley吉乃特Lafit,罗宾Achterhof,阿奴p . Hiekkaranta和伊内兹Myin-Germeys, Katholieke的鲁汶项目提供了一个模板和教程注册的研究在最近的一篇文章中使用动态评估心理科学的方法和实践的进步。研究者E半岛体育官方网址入口SM定义为一个方法中,参与者完成简短的问卷调查一个或多个次那天很多通常通过一个智能手机应用给予及时的报告他们的思想,行为,上下文,和情绪。

挑战经验取样方法的使用

Kirtley和同事讨论威胁透明度、重复性和复现性ESM的研究。

• 权力和样本大小的计算更为复杂在ESM的研究,因为数据的层次性。
• 与其他方法相比,ESM需要额外考虑项目选择、心理测验学、和分析策略。
• 半岛体育官方网址入口研究人员利用ESM必须做出很多选择开发研究中,可以引入更多的点之间的差异的研究,让他们难以复制和复制。
• 许多分析的选择可能存在同样的数据集,创建分析的灵活性,也威胁着再现性。

登记作为手段来改善ESM的严密性

“注册是一个拥有巨大潜力的工具来增加透明度,再现性,在ESM研究和可复制性,“Kirtley和他的同事写道。然而,注册ESM的研究可能不是一样简单注册non-ESM研究。ESM使用复杂的模型,需要先验策略处理模型的估计不收敛时用干净的解决方案。它也通常涉及多个研究人员不同的研究问题,很难详细数据收集之前所有的前半岛体育官方网址入口瞻性分析。

Kirtley和同事讨论如何选择模型,考虑潜在的模型收敛问题,使用现有的数据集,在预先登记和记录这些集。他们多次添加和修改预先登记挑战模板(Mellor et al ., 2019)创建一个新的模板,便于登记ESM的研究。在开发这个模板,Kirtley和他的同事们认为是“(a)的具体特点ESM研究可能影响甚至阻止他们的可复制性和再现性和(b)方面容易有问题的研究行为或分析的灵活性,尤其是在数据已经被访问(部分)”。

什么注册使用新模板?

抽样计划

• 数据收集过程。Kirtley和同事添加这个新的分段收集决策增加透明度,包括抽样方案、方法和参与者的激励。

• 研究持续时间。你可能不得不改变计划持续时间的ESM研究后已经开始收集数据(例如,如果参与者显示减少合规)。你可以解决这个问题在进行研究之前通过指定,并登记,要遵守的规则防止更多的数据是必要的。
• 类型的抽样方案。在ESM问卷提示的时间(例如,当一个特定事件发生时比随机)应该取决于你想要测量的构造。你的注册应该指定时间设计。
• 总数量和类型的物品(开放式或封闭式)。许多报道ESM研究只描述变量的分析。然而,详细数量、顺序和类型的所有项目是重要的理解一些模式的结果(例如,问卷的长度可能影响合规率)和促进未来的复制。
• 超时规范。模板空间为您提供理论依据和寄存器决定多久参与者开始应对问卷,应对一项,或者完成一个完整的调查问卷。
• 细节说明和实践调查问卷,这对于繁殖研究的方法是很重要的。

• 样本大小的理由和时间的设计,包括动力分析计算所需的样本规模产生影响。
• 停止规则。你可能想要实现一个规则指定一个阈值数量的参与者在数据收集必须停止。通常,这些规则是基于权力分析。权力分析也可以人均表示测量的最小数量达到一定程度的权力;你停止规则也应该占这个阈值。

变量

Kirtley和同事的模板要求研究者指定测量变量和操作变量。半岛体育官方网址入口它会问你详细描述只在确认您将使用的变量分析,但你必须提供一个完整列表ESM的物品。模板也包括部分测量non-ESM /定常变量(例如,性别)和测量ESM /时变变量(例如,moment-dependent情绪)。最后,鉴于ESM的多级结构数据,模板要求您指定不同程度的测量和操纵ESM变量。

数据的先验知识

当研究人员半岛体育官方网址入口利用现有数据,任何知识的数据可以导致他们视做决定。报告任何先验知识,以及它的来源(例如,会议报告、预印本)。

分析计划

• 模型的复杂性和收敛性问题。注册你打算如何评价模型复杂性和你将做什么当数据违反假设,模型不收敛,或其他分析出现问题。
• 模型选择和鲁棒性。注册标准用于模型选择和繁殖所需的所有信息(包括软件)进行分析。例如,如果您使用贝叶斯方法估计模型,分析计划可以描述以及先验分布的参数。
• 不包括数据和处理缺失数据。在ESM的研究中,合规等因素会影响数据质量和技术问题。指定data-exclusion标准分析计划,包括排除标准相关技术问题。同样重要的是政府如何处理缺失数据和异常值。

引用 

奇凯岑特米哈伊,M。,& Larson, R. (1987). Validity and reliability of the experience-sampling method.神经与精神疾病》杂志上,175年,526 - 537。

Kirtley o . J。Lafit, G。,Achterhof, R., Hiekkaranta, A. P., & Myin-Germeys, I. (2021). Making the black box transparent: A template and tutorial for registration of studies using experience-sampling methods.心理科学的方法和实践的进步,4(1) https://doi.org/10.1177/2515245920924686

梅勒·d·T。,Esposito, J., Hardwicke, T. E., Nosek, B. A., Cohoon, J., Soderberg, C. K., Kidwell, M. C., Clyburne-Sherin, A., Buck, S., DeHaven, A., & Speidel, R. (2019).预先登记的挑战:计划、测试发现。OSF。https:// osf.io / x5w7h

石头,A。,& Shiffman, S. (1994). Ecological momentary assessment (EMA) in behavioral medicine.《行为医学,16(3),199 - 202。

娼妓,t·J。,& Ebner-Priemer, U. (2014). The role of ambulatory assessment in psychological science.心理科学当前的方向,23(6),466 - 470。https://doi.org/10.1177/0963721414550706