科学的“自由”,青春之泉

“实足复兴”是心理术语青春之泉,难以捉摸的补药,当我们发现它时,将逆转衰老过程。尽管很多人会欢迎这样的发现,我们大多数人也知道这是一个幻想,科学不可能。

我想象当我遇到一个惊喜这篇文章同时浏览杂志心理科学。我包括所有方法论的细节,因为他们是很重要的:

使用相同的方法在研究1中,我们问20宾夕法尼亚大学本科生要么听“当我六十四岁”,甲壳虫乐队或“克林巴琴。“然后,在一个表面上不相关的任务,他们表示他们的出生日期(mm / dd / yyyy)和他们的父亲的年龄。我们使用父亲的年龄为基线的变化控制在参与者。ANCOVA显示预测的效果:根据他们的出生日期,年轻人们近一年半之后听“当我六十四岁”调整M = 20.1年),而不是“克林巴琴”(调整M = 21.5年),F (17) = 4.92, p = .040。

如果你像我一样,你必须重读课文:它不会说主题感觉一年半的年轻;其实说他们是一年半的年轻。即数据支持科学家们对年老的难以置信的假设,听音乐可以让我们明显年轻。

确实令人难以置信。report-Joseph的作者西蒙斯和乌里潘和Leif Nelson Berkeley-certainly不相信这个发现,尽管他们确实运行描述的实验,他们使用接受实践报告和分析他们的数据。他们跑实验以通常的方式演示一个严重缺陷行为科学数据的收集和报告的缺陷,(他们声称)允许科学家证明“什么”是一个重要的发现。科学家不充电渎职或恶意的意图,但他们认为,当前的方法会不可避免地导致自私自利的知识不诚实,产生大量的“假阳性”结果出现统计学上有效,但事实上并非如此。发现青春之泉是一个故意荒谬的例子,但作者认为,假阳性在行为科学是“更有可能”比公认的5%。

这是如何发生的?15000年科学家们做了一个计算机模拟的实际数据样本,并找出罪魁祸首是“研究员自由度。“这就意味着,在运行和报告一个实验的过程中,科学家们做出一些决定,可以倾斜的结果。这些决策和规则他们做出这“不能接受的”容易发布虚假的证据,任何假设。一个例子是决定样本大小。通常,研究员将招募一个取样20打造的运行实验。在这一点上,研究测试数据的意义。如果结果是显著的,了不起的:研究者停止收集数据和报告结果。到目前还好,但如果结果没有达到20科目后意义吗?在这种情况下,研究人员选择添加subjects-say 10更长时间的另一组测试数据。 And again, and again. According to the authors’ computer simulation, this seemingly small degree of freedom increases the false-positive rate by 50 percent. A recent survey found that about seven in ten psychological scientists admit to making such interim decisions in their research.

操纵样本大小只是决策之一,作者强调“自由”心理科学纸。另一个是包括(和报告)因变量的灵活性。如果研究人员设计一个实验有两个因变量,他或她可以决定测试只有一个,或者其他,或者两者都是,增加的可能性至少产生一个显著的结果。类似地,灵活地控制了性别,可以明显提高假阳性,可以下降(或不下降)三种实验条件之一。更重要的是,作者指出,科学家经常使用所有这些自由在同样的实验中,这种做法将导致惊人的61%的假阳性。换句话说,所有最好的意图是研究员更有可能比不错误检测阳性结果只是通过使用惯例。

他们认为这个保守的估计。半岛体育官方网址入口研究者常常超过两个因变量之间的测试和选择;排除子集作为“局外人”的主题;早期交付数据“试点研究”;等等。

所以要做什么?作者提供了一个简单的解决方案发布假阳性的问题,包括研究人员要求和指南杂志审稿人。半岛体育官方网址入口要求所有目标更多的透明度报告analysis-listing所有变量的数据和方法,例如,数据采集开始前决定样本大小。这里,插图,是作者将修改自己的青春之泉的研究报告:

使用相同的方法在研究1中,我们只要求34宾夕法尼亚大学本科生听,“当我六十四”由甲壳虫乐队或“克林巴琴”或“烫手山芋”摆动。之后我们进行了分析每一个会话参与者大约10;我们没有提前决定何时终止数据收集。然后在一个表面上不相关的任务,他们表示他们的出生日期(mm / dd / yyyy),他们觉得多大,多少他们会喜欢吃餐馆,100的平方根,他们同意“电脑是复杂的机器,”他们的父亲的年龄,他们的母亲的年龄,他们是否会利用一个早起的特殊,他们的政治取向,这四个加拿大的中卫,他们相信赢得了一个奖项,多久他们过去是指“过去的好时光”,和他们的性别。我们使用父亲的年龄为基线的变化控制在参与者。ANCOVA显示预测的效果:根据他们的出生日期,年轻人们近一年半之后听“当我六十四”(调整M = 20.1年),而不是“克林巴琴”(调整M = 21.5年),F (17) = 4.92, p = .040。没有控制了父亲的年龄,年龄差距小,没有达到意义(Ms = 20.3和21.2,分别),F (18) = 1.01, p = .33。

这个详细的报告是关于两次只要上面,和许多科学家无疑会显得繁琐。它也不会停止明目张胆的骗子,作者承认,但这不是重点。目标,他们的结论是减少“自私自利的模棱两可的解释,这使我们能够说服自己,无论决策产生最发表的结果一定也是最合适的。”

雷赫伯特的书,转念一想,最近发表在平装书。摘录他的两个博客——“我们只有人类”和“正面全裸心理学”——似乎经常在科学美国人介意而在《赫芬顿邮报》。