方法:不要太有创意!避免有问题的测量实践

近年来，心理科学领域面临着实施更好的研究实践的巨大压力，包括变得更加开放和透明，以提高研究质量。然而，在改善具体的测量实践以加强心理科学研究的有效性方面做得并不多，测量实践的透明度仍然很低，科学手稿未能报告有关测量决策的重要信息。

在2020年的一篇文章中心理科学方法与实践进展“，杰西卡·凯·弗莱克(麦吉尔大学)和APS研究员斯宾塞奖得主Eiko I. Fried(莱顿大学)已检查的有问题的度量实践(QMPs)这让人们对测量的有效性产生了怀疑最终对心理学研究及其结论产生了怀疑。作者定义了最常见的有问题的做法，并提出了如何避免这些做法的建议。

定义和测量正在学习的内容

在进行任何研究之前，研究人员必须定义他们正在研究的内容半岛体育官方网址入口，并决定所研究结构的适当测量(例如，用哪种量表来测量抑郁症)。这些措施必须充分地捕获结构;当他们不这样做时，这项研究的有效性就受到了质疑。弗雷克和弗里德写道半岛体育官方网址入口，每当研究人员没有定义他们的结构和/或对他们的测量做出错误的推断时，“无论是严格的研究设计，还是先进的统计数据，还是大样本都无法纠正这种错误的推断。”

然而，通常有大量可能的测量方法，迫使研究人员做出许多决定。半岛体育官方网址入口弗雷克和弗里德解释说:“我们想不出任何一种心理学结构，它确实存在一种经过严格验证的、被该领域普遍接受的测量方法，而且在如何打分方面没有自由度。”任何测量中可能存在的许多自由度都可能使研究结果受到质疑。Flake和Fried认为，测量选择的透明度——报告所有的测量决定——是改革测量标准的第一步。他们写道:“透明度不会自动使科学更严谨，但它通过允许对证据进行彻底和准确的评估来促进严谨。”

六个问题将有助于避免qmp

为了帮助研究人员半岛体育官方网址入口在计划、进行、审查和研究时识别、避免和/或面对qmp, Flake和Fried建议问六个问题。这些问题旨在促进报告评估研究中措施的选择和使用所需的信息(Flake & Fried, 2020;表1):

1.你的构想是什么?

• 定义构造。
• 描述支持该结构的理论和研究。

2.您为什么以及如何选择您的测量方法?

• 证明度量选择的合理性。
• 报告现有有效性证据。

3.你用什么方法来操作这个结构?

• 描述措施和管理程序。
• 将度量与构造相匹配。

4.你是如何量化你的测量的?

• 描述响应编码和转换。
• 报告每个分数中包含的项目或刺激。
• 描述分数的计算。
• 描述所有进行的分析(如心理测量)。

5.你修改量表了吗?如果是的话，是怎么回事，为什么?

• 描述任何修改。
• 说明修改是在数据收集之前还是之后发生的。
• 提供修改的理由。

6.你是在飞行中创建的测量吗?

• 说明为什么你没有使用现有的测量方法。
• 报告新测量的所有测量细节。
• 描述所有可用的有效性证据;如果没有证据，就报告。

系统性有问题的做法

除了提高研究的透明度，回答这些问题还有助于发现文献中反复出现的系统性可疑实践。

例如，在回顾元科学测量文献的发现时，Flake和Fried注意到孤独和外向性之间的关系是如何被所使用的特定量表所调节的。他们写道，这是一个例子，说明“尽管量表的名称不同，但缺乏衡量标准的清晰度，会混淆对构念之间关系的解释。”文献综述还表明，测量的灵活性(以及缺乏测量量化的细节)以及有问题的测量修改似乎被用于歪曲和误导，阻碍了研究的有效性。最后，他们发现，创建和使用未经验证的测量方法似乎是常见的做法，这从情感、教育和行为、社会心理学和人格方面的文献例证中得到了证明。

度量实践可以影响整个领域

尽管Flake和Fried在这篇文章中关注的是透明度，但他们指出，qmp也是其他问题的产物，包括无知、疏忽和失实陈述。作者敦促研究人员和该领域扩大对当前研半岛体育官方网址入口究实践的审查，以包括测量。他们以抑郁症研究为例，即使有更大的样本、足够的能力和预先登记的方法，也可能无法充分测量预期的结构。

这些改革可能会产生什么影响?弗雷克和弗里德写道:“如果该领域更认真地对待测量使用的有效性，研究人员就会报告更多的信息，为初入职场的同事提供更好的培训，并在半岛体育官方网址入口审查过程中要求严格的实践。”

对这篇文章的反馈?电子邮件apsbdapp官网下载observer@psychologicalscience.org或登录评论。

参考

弗莱克，J. K. &弗里德，e.i.(2020)。测量方法:有问题的测量方法以及如何避免它们。心理科学方法与实践进展“，，3.(4), 456 - 465。https://doi.org/10.1177/2515245920952393

相关内容我们相信你会喜欢>

---