新设计强大的研究工具

为什么研究没能复制吗?有几种可能的解释,但是一个值得注意的是,许多研究动力不足,也就是说,他们有样本量太小的规模效应在调查之中。在一个文章在心理科学,圣半岛体育官方网址入口母大学的研究人员解释为什么许多研究最终动力不足和开源工具,可以帮助研究人员主动避免这个问题。

统计能力,心理科学家萨曼莎·f·安德森,肯•凯利和斯科特·e·麦克斯韦描述在他们的文章中,是“拒绝零假设的概率没有影响的人群中真正的影响是null。“研半岛体育官方网址入口究人员想要相当自信,他们将能够检测产生影响,如果一个真正确实存在——确保他们的研究有足够的权力是实验设计的一个重要组成部分。

为此,他们计算出总数量的参与者需要检测一个特定大小的影响和权力的目标水平。半岛体育官方网址入口研究人员不知道有多大的效果实际上是人口,所以他们经常在已发表的研究估计,使用效果大小。这是问题所在,安德森和他的同事们认为,这样效果估计有几个固有缺陷。

一个明显的缺陷,研究人员解释,发表的研究可能半岛体育官方网址入口会影响大小大于实际人口效应大小由于所谓的文件抽屉问题。发表偏倚,强烈支持统计上显著的结果产生一个文学与“向上偏见”效应大小估计。

估计基于以前公布的影响大小也没有考虑到固有的不确定性统计推断。半岛体育官方网址入口研究人员可以指定通过置信区间不确定性的影响大小,显示值的范围内的实际人口效应大小可能会存在。这种不确定性往往被忽视,然而,当研究人员使用单一点估计从已发表的研究来确定自己所需的样本量的研究。半岛体育官方网址入口

“考虑到无处不在的偏见和不确定性的估计效果,研究人员认真计划自己的样本大小使用出版尺度效应从之前的研究可以有实际权力,是深不可测的,特别是当人口效半岛体育官方网址入口应值很小,”安德森,凯利,麦克斯韦写。

动力不足意味着研究人员可能无法检测的影响当他们确实存在,但也有半岛体育官方网址入口其他的后果,包括增加的比例的研究文献中,错误地发现当它产生影响不存在和生产效果估计过高。在更广泛的背景下,但它们也限制了研究结果的可复制性。

泰勒和穆勒提出的策略基础上最初1996年,安德森和他的同事们大纲程序,使研究人员从一开始就考虑到这些缺陷通过调整效应值估计发表偏倚和不确定性。半岛体育官方网址入口

半岛体育官方网址入口通过一个研究人员可以免费使用这个方法开源R包(BUCSS)和基于web的应用程序——他们只是需要一些关键的信息使用这些平台。

“我们希望更准确的估计效果会导致新的心理学研究,更充分的动力,将导致一个可复制的文学,以激发更多的信心,在危机中,“安德森,凯利,麦克斯韦总结道。

BUCSS(偏差和不确定性校正样本大小)R包

闪亮的Web应用程序

参考

安德森,旧金山那里凯利,K。&麦克斯韦,S.E. (2017)。样本容量规划更精确的统计力量:一个方法调整发表偏倚的示例尺度效应和不确定性。心理科学。doi: 10.1177 / 0956797617723724