运行所有的模型!处理数据分析的灵活性

想象你正试图找出第一个孩子身上的人格特质是否系统不同于那些弟弟妹妹。你着手规划分析,一个看似简单的任务,迅速引发了大量的问题。有需要控制第三变量吗?你如何处理这一事实的兄弟姐妹的数量变化?“长子”到底意味着什么,当有些人一半——要么是吗?和兄弟姐妹之间的年龄差距——它改变如果长子仅仅一年比年轻的兄弟姐妹与兄弟姐妹分开10年的差距是谁?这些问题的答案将会导致不同的分析。

什么开始作为一个简单的问题会导致大量的潜在的方法来分析数据,大量的所谓“研究员自由度。“正确的数据分析策略可能取决于假设的细节或额外的假设。如果假设是模糊的,或者我们缺乏重要的理论知识来决定哪些假设更合理,各种方法运行的分析可能是合理的。

本身,这并不是问题:没有理由应该有一个正确的方法来分析数据。但在过去的几年中,心理,科学家们已经了解到这种灵活性可能会导致一些问题如果解决错误的方法。如果研半岛体育官方网址入口究人员尝试不同的分析和选择性报告那些产生期望的结果,多数情况下,一个“重大”效应p价值低于. 05 -发表文献的传统阈值可能包含大量的假阳性结果。

抛硬币的例子显示了如何有选择性的报道会影响我们得出的结论。想象一下,我告诉你,我投了10次硬币,它显示头10次。我甚至给你视频证明!你可能会怀疑,硬币是操纵而不是公平:这样一个幸运的概率使用硬币p= 50%¹⁰,只有0.1%(即p<措施)。

想象你以后发现我有1000金币,我翻10倍。我选择了幸运硬币从这1000金币,送给了你。你还会怀疑这个硬币是操纵?你愿意打赌硬币一直显示主要头——换句话说,特有的模式复制?可能不会。如果1000枚硬币都是公平的,至少其中之一很可能显示了这样一个模式。事实上,它更有可能观察至少比不遵守这样一个幸运的条纹。¹

采取文献仔细看看出生顺序和个性,似乎一些研究人员(打个比方)扔几个硬币比披露他们的论文。半岛体育官方网址入口在1999年的一篇论文中,哈里斯指出出生顺序的“各个击破”的方法研究:“重大的出生顺序影响被发现为男性而不是女性,反之亦然。或者中产阶级的对象而不是工人阶级,反之亦然。或人从小家庭而不是大的,或者只是对高中学生上大学的科目。半岛体育官方网址入口研究人员认为一些巧妙的方法来划分数据。出生顺序影响被发现在一个研究中只有“第一个孩子身上”被定义为“第一个孩子身上的性。在另一个,出生顺序影响被发现只有高度主题。”

考虑到这些实践,也就不足为奇了,结果往往是矛盾的。在2017年的一项研究发表在心理科学,鲍里斯•Egloff Stefan Schmukle,我试图梳理这些相互矛盾的结果,研究文学,我们的一个评论家形容为“一个完整的混乱。“考虑到大量的研究员自由度在出生顺序的研究中,我们使用了一个叫做标准曲线分析的数据分析方法,首先描述了Simonsohn,席梦思床品公司,并在2015年纳尔逊。标准曲线分析背后的想法很简单:如果你能想出了大量可靠的方法来分析数据,运行和评估结果在所有的分析。这允许研究人员调查是否健半岛体育官方网址入口壮的影响出现不同分析和是否可以拒绝零假设无效。

我们使用数据从社会经济研究小组(SOEP),纵向研究中,德国家庭成员填写年度的一组广泛的问卷调查。首先,我们必须决定哪些结果变量包括。多年来,SOEP要求受访者大杂烩的质疑他们的个性。我们决定看人格已经2010年至2014年收集的数据。

我们还需要提出合理的方法来分析数据来决定哪种模式规范包括——为此,我们使用出版的文献作为参考。例如,我们决定包括单独分析根据兄弟姐妹一个应答者的数量,因为效应只发生在特定大小的家庭已经在先前的研究报道。半岛体育官方网址入口研究人员还指出,兄弟姐妹之间的年龄差距,所以我们尝试不同的排除标准,兄弟姐妹出生太近也在时间和那些太遥远了。一些研究控制时代,别人不——我们尝试。结合所有这些决策导致了至少720个不同的模型为每个结果变量。

我们所有的这些模型。²你可以估计的影响。你可以看到这样一条曲线的结果变量“积极的互惠”(倾向于偿还礼品)如图1所示。红色条指示,通过传统意义阈值产生影响p< . 05。

到处都出现的影响:一些表明所谓laterborns积极的互惠,得分较低的其他指示相反的。

假设,我们可以了一个重要的结果,设计了一个故事,而是认为长子的孩子更容易认同父母试图实施积极的互惠规范他们的后代,所以我们希望他们能够拥有内化这些规范,因此在积极的互惠得分更高。

如果我们选择了一个效果指向相反的方向,我们可以解释说这表明laterborn孩子至关重要的是取决于社会合作捍卫他们对身体的脆弱地位优越的头生孩子,所以我们期望他们在积极的互惠得分更高。

正如我们现在所知道的,这种数据分析方法是很有问题,因为它有利于发现不可以复制的。相反,我们看着更大的图景:大约10%的规范造成显著的影响。是或多或少比我们期望的机会如果没有效果吗?

为了回答这个问题,我们使用一个排列测试所显示Simonsohn,西蒙斯,尼尔森在他们一份2015年的论文。我们生成500数据集在虚假设条件下(没有系统性的影响出生顺序)通过随机洗牌显性位置变量;然后我们比较实证规范曲线来模拟数据。模拟数据集,出生顺序被随机分配到个人,因此不可能与他们实际人格超越机会变化。

积极的互惠,我们的经验曲线导致10%的“重大”规范。七十七年的重组导致样品同等比例(或更大)的重要规范,所以整体p值是77/500 = .154。根据这个,曲线不给我们一个强有力的理由拒绝这个概念,出生顺序对积极的互惠性没有影响。

同样地,我们发现几乎没有证据表明出生顺序影响许多其他人格变量,包括消极互惠、生活满意度、控制点、冒险精神、耐心、冲动性,和政治取向。

想象,这个数量的分析创建大量的输出。理解所有这些数据的一个方法是绘制标准曲线,可视化标准曲线分析似乎尤其适合这个特定的研究问题,但它不是唯一的方法来处理研究员自由度。例如,大量分析灵活性时,如果结果不标准化措施。在这种情况下,研究人员达成一致,使用一个标准半岛体育官方网址入口化的版本可以防止不可靠的结果。

灵活性也可能出现在数据收集阶段,例如,如果研究人员看看结果,决定是否要收集更多的数据(或是否将这项研究列为“失败的飞行员”)。半岛体育官方网址入口在这种情况下,一个详细的预先登记可以驯服研究员自由度。

最后但并非最不重要的是,更严格的理论可以在一定程度上解决这个问题:如果精确预测,数据分析变得不那么武断。œ

¹硬币只显示正面的机会当你翻转10倍^ 10 50%。因此,硬币的机会不会显示头连续10次- 10 ^(50%),100%或99.90%左右。现在,没有机会1000枚硬币显示头连续10倍(100% - 10 ^(50%))^ 1000年约为37.64%。这意味着机会,至少有一个1000年的硬币显示头连续10次100% - -37.64% = 62.36%。

²目前,没有标准曲线分析软件包,所以我写了一些R脚本完成作业。在OSF页面上你可以找到他们的文章,但他们并不是特别有效,不易修改。乌里一直致力于一个包,但这可能还需要一段时间。如果你想要运行一个标准曲线的分析,我建议你尝试实现它自己或与某人编程技巧。

引用和进一步阅读

Elson, M。穆赫辛尼经常,m R。布鲁尔,J。Scharkow, M。&科万特,t (2014)。按CRTT衡量攻击行为:unstandardized使用攻击性的竞争反应时间的任务的研究。心理评估,26岁,419 - 432。doi: 10.1037 / a0035569

哈里斯,j . r . (1999)。《教育设想:为什么孩子会这样做。纽约:自由的新闻媒体。

Nosek, b。、Ebersole c R。DeHaven,。d &梅勒(2017)。预先登记革命。从https://osf.io/2dxu5/获取

Rohrer, j . M。,Egloff B。& Schmukle s . c (2017)。使用标准曲线分析探索超显性效应在狭窄的特点。心理科学,28岁,1821 - 1832。doi: 0956797617723726。

Simonsohn U。西蒙斯,j . P。,纳尔逊·l·d . (2015)。标准曲线:描述性和推论统计所有合理的规范。从https://ssrn.com/abstract=2694998或http://dx.doi.org/10.2139/ssrn.2694998检索

西蒙斯,j . P。纳尔逊,l D。& Simonsohn,美国(2011年)。假阳性心理学:未披露的数据收集和分析的灵活性允许展示什么是重要的。心理科学,22岁,1359 - 1366。

瓦格纳·G·G。弗里克,j . R。&思楚普j . (2007)。德国社会经济研究小组(SOEP)范围、进化和改进。应用社会科学研究学报,127,139 - 169。