我们可以信赖的一门科学

APS,我们的董事会和成员反对科学不端行为至少…(我估计可以更低的)98.03%。这听起来像是有足够的新闻价值将一列呢?我决定中断计划系列评论文章写一下(mis)行为和科学的实践。我的主要动机是提供一种大剂量的乐观一些年轻的心理科学家可能滑入犬儒主义的危险对我们的领域。这一列从瘤胃Iliev受益于大量的帮助,在我们实验室博士后。

有一些坏的振动在《心理科学》这些天来,由于两个明确的科学不端行为的高度关注的案件,国际知名心理研究人员发现有伪造数据。半岛体育官方网址入口这两个虐待学者与他们合作的信任,削弱了这些学者的职业生涯,质疑我们的整体完整性。如果两个被抓,有多少已经被欺骗,让迄今为止未被发现?让我们成为真正的:这是一个不错的选择,有超过其他一些科学家们“帮助他们的数据,通过捐赠趋势的数据,只是缺乏可靠性提高通过改变一个或两个数字或通过有选择地删除数据阻碍了统计学意义。这种做法并不不同于捏造数据,尽管它可能很难检测到。这是不好的做法。

说的第一件事是,当涉及到作弊的本尼迪克特。凯里(与最近的文章《纽约时报》),我们的字段是没什么特别的。的报告我们的科研诚信办公室心理科学表明,并不是一个主要的罪人。(2009)丹尼尔•法内利的荟萃分析证实了这种印象,表明行为在临床、药理和医学研究比其他领域更广泛。我估计的98.03%的APS成员对不端行为的评论也来自内利(把给池加权平均1.97%的科学家承认捏造、伪造或修改数据或结果至少一次)。

所以问题不是特定于心理学研究人员,这可能提供一点安慰。半岛体育官方网址入口但是我们仍然应该担心其他实践可能更为常见,也许同样有害。例如,如果一个心理科学家使用开放式任务就像我经常做的,他或她有相当大的空间发展中编码类别,然后做数据一旦他们已经选定了一个计划。但如果选择方案因为他们产生显著差异,没有人员帮助自己更多的机会产生统计可靠的结果没有考虑到他们正在进行的半岛体育官方网址入口实际数量的测试吗?如果所有的读者看到的是最终的方案和相关的统计,计划早些时候的数量和相应的测试仍然隐藏。[1]我建议仔细阅读最近的一篇文章中,西蒙斯,Nelson和Simonsohn(2011)下落不明的自由度分析人员可能利用产生统计上显著的结果。半岛体育官方网址入口

我们也意识到问题的判断,可以轻易地阴影。除了众所周知的“档案柜问题”,研究未能产生一些影响经常未被报道,也有它的问题到文件的抽屉里。很容易认为“失败”的一项研究由刺激材料或程序有点缺陷,保持“改进”的材料和方法时产生期望的结果。

这些相关因素应该倾向于夸大“假阳性”(即第一类错误)不可避免地导致悲观的结论是,一些未知的(但大大高于百分之五)比例我们领域发表的影响并不是真正的影响。我们真的可以有声音心理科学鉴于这种不确定的照片吗?

答案是一个强调“是的!”

第一个关键因素是复制的工具。许多(如果不是大多数的话,研究人员不会半岛体育官方网址入口寻求发布结果,除非他们自己复制,通常与适度调整方法和材料,这样他们就可以得到一个鲁棒性的影响。也是常见的研究人员打算跟进一些发表的结果感兴半岛体育官方网址入口趣得到尽可能接近的精确复制研究进一步在继续之前。这些成功的复制通常将未被报道。此外,许多现象,如决定启发式,我们知道由于丹尼尔•卡尼曼Amos Tversky和其他人,是如此强劲,它们通常用作课堂演示。

另一个工具是统计。它已成为常规报告的影响大小和权力的各种措施研究。本公约不仅给出了关于一些影响的鲁棒性,但也包括荟萃分析所需的信息,帮助过滤的结果。

另一个有力的工具,融合在一个精确的经验一致性在更广泛的图片。这个工具通常被称为“收敛的措施,但更普遍的观点是,研究从来都不是在真空中完成的。心理科学家总是问自己一些符合我们已经知道结果,如果它不,他们在追求他们的发现非常小心。正确推断,他们需要一个强有力的证据来推翻模式惯例,不是因为公约本身是好的,但由于公约可能基于数百,甚至数千的研究。

这所有的加起来是一门科学,我们可以相信,至少对研究人群,刺激材料、方法和环境,受到足够的关注(正如我在其他列和其他学者认为,这种关注一直不成比例地针对本科生和实验室研究,使用的材料和方法选择这些幸运儿,但这是一个普遍性的问题,不是有效性)。

我们可以做得更好吗?我们应该仔细考虑这个问题。据我所知,我们不知道如何使科学家们更道德通过任何形式的培训计划。看来,道德行为课程增加知识但离开思考素养影响(例如伊斯特伍德,等,1996;Plemmons等,2006)。心理科学家可能要承担的一个挑战是不端行为是否可以减少教学伦理实践。

但是,我们可能会受益于重新审视科学的实践。等期刊bd体育在线app下载安卓判断和决策,现在要求学者公开发表的时候的数据。这种做法允许其他人查看统计数据和执行其他分析,可以提供一些额外的见解(这种做法也可能打击伪造数据)。这也是不道德的不是从已发表的研究提供数据时要求其他科学家。[2]西蒙斯et al(2011)夫妇他们隐藏的自由度分析的一系列建议良好的意义。

另一个有用的步骤可能是方便失败复制成为公共记录的一部分。芭芭拉首位,目前的APS日报的编辑,心理科学观点,正在计划做这个(这可能是好的,包括成功的复制)。我们还想再看看市场营销被称为“先锋效应”,目前已经发表在新候选人。例如,如果有人发布一些结果,后来在别人发现相反的模式,后者通常责任来解释这两组结果将公布在他们的论文。也许我们应该腾出一个地方在我们的杂志上的发现,我们不理解,显然与之前有过bd体育在线app下载安卓什么冲突。

毫无疑问有很多其他关于改善方法的研究和相关的出版过程在我们的领域。APS董事会正在评估这些问题在一个正在进行的基础上,我们欢迎您的输入。

心理科学应该厌恶的年轻学者的欺诈实例中看到一些科学家(1.97%的人)。和我总是推荐健康的怀疑在接近一些理论或实证问题。但这只是良好的科学。我相信内在的科学实践复制,利用融合措施,对实验者预期效果[3]和带来不同的观点是帮助我们的关键领域继续蓬勃发展。[4]

---

[1]一个先进的研究生在我的实验室,Ananda马林,指出如果解决这个问题需要事先固定编码方案,治疗这种疾病会更糟。发现数据中的主题和模式是重要的,也许我们需要找出如何让这种探索统计调整。

[2]当然,有些情况下,这种做法可能不公平或实用。可以想象一个大的和丰富的数据集收集报道分段只有经过多年的劳动。要求这些数据是立即可用的所有会破坏进入数据收集的工作。

[3]例如,使用研究助理或数据程序员盲人正在考虑的假设。

[4]最后,我们可能比大多数其他科学有优势,因为科学家的实践本身是心理学研究的一个合法的目标。