研究人员半岛体育官方网址入口如何使用相同的数据得出不同的结果

当研究团队使用不同的数据集研究同一个问题时，我们可能会预期结果会有所不同，但当数据相同时，会有多少变化呢?相当多，根据一个研究发表在心理科学方法与实践进展“，”研究团队使用一个数据集来回答一个问题:足球裁判更有可能给肤色深的球员红牌，而不是给肤色浅的球员?他们的分析产生了不同的效应大小，20个团队发现了统计学上显著的关系，而9个团队没有发现。

数据分析似乎是一个按照给定顺序遵循标准规则的简单过程。然而，心理科学家开始认识到，分析师必须做出某些决定，比如选择如何检验给定的假设，以及确定哪些统计假设是合适的，这些决定可以从根本上影响研究结果。

对于这个研究，作者希望确定，如果独立团队使用自己选择的分析策略分析相同的数据，结果会出现多大的差异。

这项研究包括来自13个不同国家的29个团队，共有61名分析师，他们代表了不同的学术领域、获得的学位和专业地位(即副教授、正教授、博士后、博士生)。每支球队都收到了2012-2013赛季英格兰、德国、法国和西班牙足球甲级联赛男性球员的相同数据。

数据集包含了每个球员的人口统计信息，他们在职业生涯中与裁判的互动，裁判和球员互动的比赛次数，以及每个球员总共收到的黄牌和红牌的数量。每个球员都有肤色评分，从非常浅的皮肤到非常深的皮肤，这是由两个独立的盲评分者对球员照片进行编码计算得出的。

研究团队必须做出特定的统计假设和分析决定，包括如何考虑裁判的资历、联赛中深色皮肤的球员与浅色皮肤的球员的比例、裁判对球员的熟悉程度，以及一些裁判比其他裁判出示更多红牌的事实等因素。

每个团队决定采用的统计方法类型和包括哪些协变量，并报告他们的分析策略和结果。在一轮循环的同行评估中，每个团队在没有看到其他团队的结果的情况下查看其他团队的分析方法，并提供反馈。这样，每个团队都有机会改进他们的分析策略。

在第二轮中，团队可以改变他们的分析策略并形成新的结论。然后，所有团队都参加了内部同行评审。每个分析师被分配评估一个到三个其他分析策略的成功，基于他或她的统计专业领域。

最终的报告展示了肤色和红牌数量之间关系的影响大小范围。效应大小的范围从0.89的比值单位(一个小的负效应，表明肤色较深的球员比肤色较浅的球员更不可能得到红牌)到2.93的比值单位(一个中等的正效应，表明肤色较深的球员更有可能得到红牌)。

20个团队发现了统计学上显著的积极影响，而其他9个团队没有发现显著影响;没有团队发现显著的负面影响。总体而言，61位分析师使用了21种独特的协变量组合，逻辑模型倾向于发现比线性模型更大的效应量。

在分析和报告的多个阶段，作者要求分析师报告他们对这种关系程度的预期。作者发现，分析师先前对效应的看法并不能解释结果的变化，团队的统计专业水平或同行对分析质量的评分也不能解释结果的变化。

作者强调，众包可以防止选择偏见，或者选择特定的数据进行分析以产生预期的结果，因为一个团队的结果不会影响研究结果发表的整体可能性。

他们还指出，分析结果的变化可能难以避免。随着众包成为分析数据集的一种更常见的方法，政策制定者和其他领导人将需要决定多少可变性才算过分，并制定何时信任(或不相信)某些分析的指导方针。

未来的众包项目应该调查开放式研究问题的影响，并在兴趣测量方面有更多的选择。例如，如果研究人员能够选择最有用的裁判判罚类型，而不是仅仅使用红牌数据，结果会发生什么变化?半岛体育官方网址入口

作者指出，众包是一个需要大量资源的广泛项目。对于没有半岛体育官方网址入口办法众包数据的研究人员，作者建议使用规范曲线或多元宇宙分析来对数据集的每个可防御分析的结果进行建模，并计算显著结果的可能性。

参考

西尔伯扎恩，R.，乌尔曼，E. L.，马丁，D. P.，安塞尔米·P.， Aust, F.， Awtrey, E.，……&诺塞克，B. A.(2018)。许多分析师，一个数据集:让分析选择的变化如何影响结果透明化。心理科学方法与实践进展，1（3）.https://doi.org/10.1177%2F2515245917747646