心理科学家呼吁数据实践范式转变

捏造数据支持先天的假说是科学研究的终极罪恶。但是抛出一两个“离群值”?或报告一些,但不是全部,你测试的措施?

这些有问题的研究行为往往在雷达下可以飞起来,但是他们目前真正的挑战,科学的严谨性和可复制性。科学家们讨论这些实践和可以采取措施打击他们在“好的数据实践”研讨会在第25届APS年会。《会饮篇》是“建设一个更好的心理科学:数据实践和复现性好”主题项目。

“可疑的研究实践——剥削接受实践的灰色地带——有时是合理的,但往往不是这样,”哈佛商学院的专家约翰莱斯利说。“由于这种二元性,这些实践为合理化提供相当大的自由。”

看来,即使是获得诺贝尔奖的研究人员。半岛体育官方网址入口

“我总是有一个规则复制发布之前(我发现)[他们],但是我有两个发现——两个相关矩阵——我不能复制,”普林斯顿大学的专家丹尼尔·卡内曼说,他被授予2002年的诺贝尔经济学奖得主。

经过多年的努力理解为什么他不能复制的发现,他想通了:

“原来我的样本非常小,”他说,“这是一个可耻的,事实上,因为我当时教学统计。”

这对样本量的不敏感,第一个认知偏见,卡尼曼与他的长期合作者阿莫斯·特沃斯基记录,可以让研究人员陷入严重的麻烦。半岛体育官方网址入口

强调这一点,专家乌里宾夕法尼亚大学沃顿商学院的研究指出,中位数约有20人/条件。这足以检测到人,平均比女性高,人们更接近退休年龄中位数以上。但它不是足以检测到人喜欢辣的食物往往喜欢印度食物,例如。甚至足以发现男性比女性更倾向于重,这需要每个条件的46人。这个信号,研究人员应该提高他们的样本半岛体育官方网址入口大小。但是这样做并不是一件容易的事。

“当你可以运行整个教室,然后你没有样本大小的问题,”卡尼曼。”,但很多人没有这种奢侈——可能需要一个小时收集一个数据点为一个主题。”

然而,这个问题太大,不容忽视。卡尼曼指出,研究人员不能简单地把一些动半岛体育官方网址入口力不足的研究和假设他们一个健壮的发现。那么应该他们做了什么?

“不论真假,我的建议是,应该有一项研究——人们现在假设研究旗舰有足够的权力,”卡尼曼说。旗舰的研究可以补充额外的研究小样本。

“我们必须加强数据使其理解的故事,”他总结道。

但样本量时并不是唯一关注实践问题研究——可怜的数据文档带来一系列其他问题,在本世纪则在荷兰蒂尔堡大学的注意。

一旦研究成功招募参与者和收集的数据,如何他或她选择标签他或她的变量在SPSS似乎相对无关紧要。然而,不当数据文档可以极大地阻碍科学。两年来,研究者可能不记得“VAR001”的数据代表什么,什么样的措施被用来收集数据,或者数据可能已经改变了。和别人看数据当然不能告诉。因此,一个看似无关紧要的实践可以产生重大影响科学准确性和透明度。

“可怜的数据处理实践使共享数据后的机会较小,大大增加犯错误的机会,”则观察到。

一个主要的问题,因为所有的小组成员指出,是大多数科学领域的激励结构不一定是为了支持良好数据规范,包括数据文档,数据共享,进行直接复制。

“我认为绝大多数的研究者很真诚的动机进行研究,”约翰说。半岛体育官方网址入口“但是[的]固有的模糊性的研究实践,加上巨大的激励措施发布积极的结果,意味着我们有一个巨大的利益冲突在我们的手中。”

就像有机农民,研究人员订阅好的数据实践通常与更少的完美半岛体育官方网址入口和下屈服最终产品;他们怎能可能竞争呢?他们需要标签产品,Simonsohn认为。

“如果你已经玩的规则,你搬起石头砸自己的脚,如果你不要标签,”他说。“你不让人知道。”

半岛体育官方网址入口研究人员可能会犹豫是否要共享数据,没有显示一个明确的和强大的效果,但开放和透明是进一步发展的关键领域的知识,专家说。

“没有所谓的失败的研究,“则总结道。“唯一失败的研究当功能性核磁共振机吹或参与者尖叫走出实验室。”