心理学的困境和局部治疗:复制的价值

心理学已经最近在新闻媒体对于一些擦伤。巨大的欺诈案件Diederik Stapel荷兰蒂尔堡大学的收获大量的当之无愧的负面宣传。未来的其他欺诈案件备受尊敬的大学在北美,一些人认为一种新兴趋势。此外,最近的出版物提供额外的弹药的射击在心理学的论文表明,一些研究者采用劣质的研究实践(例如,挑选数据做一些点)或使用错误的数据来支撑他们的索赔(这种研究出现每隔几年,看来)。半岛体育官方网址入口

媒体对Stapel事件有许多不同的需要。的洛杉矶时报跑一个故事(Amina汗;2011年的11月5日),标题是“荷兰科学家被指控伪造数据”,专注于Stapel和他的欺诈行为。其他媒体更慷慨的与他们的责任。的高等教育纪事报提供几个故事。第一个(11月3日)关注Stapel(“愚弄了几乎所有的欺诈”)。然而,后来故事的首页纪事报(11月13日)跑标题“欺诈丑闻燃料争论社会心理学的实践。“现在不只是Stapel接受审查,但整个社会心理学领域。作者克里斯托弗·谢伊发挥发表的文章心理科学由约瑟夫•西蒙斯,乌里和Leif Nelson在“假阳性心理学。“这些作者提供了一个有趣的案例研究的一块复杂的研究可以用许多变量,然后,如果作者占有他们的发现,而忽略基本的统计实践,他们可以达到一个古怪的结论(例如,听披头士“当我64”可以让人年轻)。协变量的基本策略是使用各种分割数据以不同的方式找到一个产生了显著的结果(父亲的年龄是作为协变量的披头士乐队的歌曲)。的Stapel事情,西蒙斯等人的文章,其他事项(欺诈的情况下,包括Marc Hauser,长前,哈佛大学的凯伦·鲁杰罗)其他工作变成泡沫。写的纽约时报11月2日,本尼迪克特。凯里起诉所有科学心理学的一篇标题为“欺诈案例对心理学研究视为一个红旗。”

真的吗?所有的心理学研究?为什么不是所有的科学?毕竟,欺诈的问题,nonreplication和可怜的统计实践几乎独特的心理学。当我在写这篇文章,我读的通知不当行为的结果从国家卫生研究院报告几例科学恶作剧(两个涉及剽窃通过计算机科学家和另一个涉及伪造的公布的数据细胞生物学杂志)。本文将新闻,另一个案例涉及医学研究员的欺诈康涅狄格大学的新闻。

平静的声音一直试图安抚这些狂热公告关于心理科学。APS执行董事阿兰德国人认为上写了一篇专栏“尽管偶尔的丑闻,科学可以警察本身”(高等教育纪事报,2011年12月9日)。科学是一个自我修正的过程,尽管有时候修正是缓慢的在未来。

社会/人格心理学家已经痛苦了上面提到的事件,以及出版Daryl Bem psi过程的文章人格与社会心理学杂志》上。我认识的大多数心理学家一直密切关注。我也一直在阅读的一些评论对整个业务,试图理解这一切。的问题是多种多样的,有些无关。科学犯罪和诈骗是最令人发指的很难赶上(尽管Stapel如何进行这么长时间是难以理解)。可怜的研究实践,阐述了西蒙斯et al .(2011)可能更普遍,但我认为人进行的一项研究类似于他们的协变量(使用许多和报告分析,得出的结论)也近乎欺诈的研究。

心理学作为一个领域能做什么这些问题呢?西蒙斯等人建议六个具体步骤,似乎很明智的(尽管“作者必须收集20观察每单元”似乎有点武断。然而,他们忽略了什么,对我来说,似乎最明显的解决方案:复制的结果。我们应该更看重复制比我们做的,珍惜它。我们都经常教复制在我们的第一个研究方法课程的价值,但似乎有些人忘记了教训。当然,复制没有直接解决问题想Stapel欺诈——他由几组数据不如他可以轻松地由第一个。然而,如果别人曾试图复制他的作品出版后不久,他的罪行可能已经发现了更快。然而,我在社会/人格心理学的朋友们告诉我,复制通常不是鼓励或价值的领域。写的一篇社论科学珍妮弗·克罗克和林恩·库珀(社会/人格心理学家)写道:“研究复制(或未能复制)别人的发现几乎不可能发表在科学期刊。bd体育在线app下载安卓“布伦特·罗伯茨(列中P:人格科学的网络通讯发布的,这是人格研究协会)写道:“在人格心理学,心理学和大多数其他地区,我们积极贬值直接复制。”他继续谴责这种趋势和建议措施去弥补。

我不确定复制总是贬值。至少在我心理科学世界的小角落,我看到复制。通常,认知心理学家,复制所需的实验是编辑出版的最著名的期刊。bd体育在线app下载安卓在研究生期间,我反复告诫复制和学习的重要性从来没有提交通过复制发现你是不确定的。那些认为一个健壮的统计显著性水平都是需要保证复现性,我记得格言(归因于孔子),”一个复制值一千t测试。“单词。如果我们经常复制我们的结果,我们不需要太多的担心穷人零假设的逻辑数据或用贝叶斯统计来确定发生了什么在一个单一的实验或研究。如果你获得一个效果,只是复制它(可能在不同的条件下),以确定它是真实的。我将说明下面复制个人例子的好处。

两项研究的故事

我们怎样才能避免nonreplication似乎瘟疫的问题心理科学和其他领域?答案非常简单:研究者应该,只要有可能,在出版之前复制模式的结果。半岛体育官方网址入口感兴趣的现象应该受到仔细审查,应该扭曲,弯曲,重创,看看它将生存。如果基本的效应是复制的条件下,在最初的研究中,但当条件变化的时候,它就消失了,那么效果是真实的但脆弱;边界条件获得效果相当狭窄。这是不理想的,但确实值得了解。世界上很多现象的认知心理学这一特性的一组条件下(说,在受试的设计),但消失在另一组的情况下(在主客体之间的设计)。麦克丹尼尔和Bugg (心理环境通报与评论,2008)审查多少有趣的记忆现象(即使是强大的,像代效应)可以影响类型的设计工作。这是一个简单的事实,需要解释,但不是复制失败,至少在某种意义上(下面进一步讨论)。

在1990年代中期,我和凯萨琳·麦克德莫特合作研究,我们尝试两个相当危险的实验,可能会失败,但也值得一试。令我们吃惊的是,我们发现惊人的数据在两个过程的模式。是的,在这两种情况下,我们发现我们预测(或者至少我们希望找到),但我们怀疑结果。

错误记忆研究的一个案例中涉及技术的研究情况下,虚幻的记忆似乎发生几乎立即和非常强(与标准模式的时间用来诱发错误记忆)。第一课堂中间试验后,我们进行了适当的第二个实验,证实和加强了我们的初步结果。我们开始写了两个实验。然而,我们还是有点担心的健壮性效果,所以我们继续尝试,我们写道。我们能够确认新的实验中的结果(使用各种扭曲),所以,本文报告两个实验的时候接受并发表在实验心理学杂志:学习、记忆和认知在1995年,我们有几个可以写更多的复制和扩展。

我们的论文已经相当广泛流传的预印本和生成一些兴奋在研究我们的小世界,所以出版后不久我开始手稿审查,使用相同的技术。的论文开始于一个基本的复制效果(尽管有时复制作为控制条件,提出了与其他条件)。为什么?我怀疑其他研究者的回答是不相信我们的结果或至少持怀疑态度,所以他们想展示效果之前半岛体育官方网址入口为自己探索它的奥秘。这些论文复制和扩展associative-list错误记忆效应很快又出版了——没有问题得到复制发表在这个实例中,因此,在两年内首次出版,在这个领域关心的人可能知道Roediger报告的效果和麦克德莫特(1995)是真实的。(基本的效应已经被复制数百次。)是的,麦克德莫特和我有复制我们的基本效应在原来的纸,但事实上,其他人多次证实,它是建立它作为真正的关键。

第二个实验我们兴奋当时没有那么幸福的命运。短暂,我们开发了一个新的(或新技术)测量识别记忆,我们怀疑(从动物文学)可能比通常的测试更敏感的识别记忆。(我将跳过细节将成为明显的原因,如果他们不是已经)。我们的第一个实验操纵一个标准变量和测量识别使用我们的新方法和标准的方法。令我们高兴的是,我们发现新的识别方法的确是比旧的更敏感(有主要影响支持它,一个交互作为另一个变量的函数,表明新方法比标准更敏感)。我们兴高采烈的;影响相当合理,统计数据是健壮的,我们去比赛。我们认为。我们觉得有足够的信心来提交一份研究心理学协会年度会议上的讨论,和工作提出了1995年在洛杉矶。

讨论后,我们决定我们需要复制和扩展的影响,以确保它是可复制和健壮,在提交之前出版。所以我们尝试复制实验(一个新的独立变量),一个新的主题人口(本科生,因为最初的实验已经完成了空军新兵),但同样两项措施的识别记忆(新标准)。我们有一个模式,看上去有点希望,但远不是统计学意义;我们认为它无法复制(或至少肯定不是成功)。我们挠头再次尝试。第三个实验,我们回到具体的设计和程序尝试直接复制的方法和步骤,虽然仍然与本科生。再一次,我们没有得到效果,现在的数据看起来可怕的——没有提示测试变量的影响(标准与新程序)。(也许不可能证明零假设,但它确实很难拒绝。)如上所述,我们最初的实验已经在空军新兵和接下来的两个本科生。虽然我们无法想象人口原因,主题应该问题,我们决定尝试直接复制在空军基地使用更多的科目比我们在最初的实验。 We still could not get the effect; just null results. The two procedures seemed equivalent measures of recognition. Altogether, we tried several more times over the next few years to replicate the effect. To make a long story short, we never got it again, even though our original experiment in the series had produced such pretty results. Sometimes we got results that hinted at the effect in our new experiments, but more often the results glared out at us, dull and lifeless, telling us our pet idea was just wrong. We gave up.

麦克德莫特和我可能会发表我们的初始单初始实验作为一个简短的报告。毕竟,它是进行,其结果是小说,我们可以讲一个好故事,和最初的统计数据令人信服。我敢打赌强烈我们可以有纸接受。幸运的是,我们与unreplicable没有污染的文献数据,但仅仅是因为我们需要复制(即使编辑可能就不会——简短报告不鼓励,有时不允许复制)。

这个故事的寓意很明显:在出版之前复制自己的工作。不要让别人发现你错了,你的工作是严格受到边界条件的制约。如果有办法收回会议论文,我们会收回。大多数人不计数会议演讲的“真正的”科学文献,和我们的情况下提供了另一个好理由,态度。至少我们发现效果不是复制之前发表。

品种的复制

几乎所有研究方法教科书竖琴上复制的必要性。根据我的经验,这是很容易得到成功的复制工作发表,因为通常复制在其他研究的背景下,提出了扩展的基本现象的兴趣。另一方面,失败复制发布更困难。这个事实是抱怨,但在某种程度上都是应该的。有人声称“无法复制”别人的工作,需要真正努力的人这样做。一次性”we-tried-but-didn无法让它“努力是不够的。复制发表一些失败,至少在认知心理学(看到费尔南德斯& Glenberg记忆与认知,1985年的一个典型案例研究如何进行复制和发布失败)。

复制的概念经常被视为良好定义的和统一的。你复制或你不。当然,这并非如此;习惯上区分几种类型的复制尝试:直接复制,复制系统复制和概念。顾名思义,直接复制尝试重现结果使用相同的条件下,材料和过程在最初的出版使复制尽可能接近原始研究。系统的复制是一个试图获得相同的发现,但在不同的条件下(说,在记忆的实验中,一组不同的材料或不同类型的测试)。最后,一个概念性的复制试图复制一个概念的存在(例如,认知失调)通过使用不同的范式(说,从一个诱导合规范式为研究失调自由选择范式)。如果认知失调的研究人员无法找到有效的证据在后者的范式,结果没有必要暗示复现性实验使用前范式。当然,这两种范式已经经常可以产生认知失调与概念的核心理念。

当有人用“未能复制”,他们几乎总是记住(或应该记住)直接复制。然而,即便是直接复制的概念代表一个连续体。例如,永远不可能测试相同的对象从最初的研究中,也不太可能使用相同的设备。因此,人们必须做出明智的判断距离足够近,在我的经验,一个原始报告的作者之间的辩论和那些试图发布未能复制它,往往有不同的意见“接近”意味着什么。通常,复制尝试将使用相同数量的科目如最初的尝试。这种方法听起来合理,但研究表明,实验往往会无法复制使用此策略(即使是真实的)的影响。所以是明智的使用150%或更多的原始对象的数量,如果可能的话。

科学心理学的困境的解决方案是简单复制?嗯,不,或者至少不完全。然而,我认为,通过直接的实践和系统复制,我们自己的研究和别人的工作,我们会避免我们现在看到的最大的问题。事实上,这个建议更容易采用某些领域比其他银行。在大多数类型的认知研究,复制是相当容易的。但在某些类型的研究(那些特殊人群或繁重的操作,或纵向研究)是难以复制的定义。在这些情况下,我们必须依靠其他科学手段来保证研究的有效性。尽管如此,科学心理学的大部分由类型的研究,可以方便地复制只有一点工作,和复制可以各种各样的系统(改变一点),而不是简单地直接复制。我们还必须要求编辑开放投入空间复制》杂志上。事实上,审稿人和编辑可能会强烈建议问作者复现性的工作(即使他们提交一个简短的报告只有一个研究)。 Do they have other data for possible future reports that insure that the effects reported are genuine? The need for such assurance is particularly high when a single study reports some dramatic or surprising claim.

前款规定,我写道,应该很难复制发布失败,部分原因在于失败复制可以是由于马虎的复制因子,而不是最初的研究人员。半岛体育官方网址入口我暗示的责任应该落在直接复制的复制因子的研究,努力在一系列系统化的研究。哈尔Pashler,阅读本专栏的早期版本,说他同意普通点,但他说:“然而,从系统性的角度来看,它(的做法不复制发布失败,除非他们特别系统)担保有偏见的科学文献,因为让我们面对它,大多数时候当人们无法复制的结果,一个或两个研究都是他们费心去做。”

他接着说,这些往往是学生寻找一个话题的论文和学位论文,复制和面对失败,他们可能会放弃,搬到另一个话题,而不是去追求无法再现论文。这样的论文可能很适合,但可能不会帮助学生在就业市场。引用Pashler注远一点:“如果研究的典型项目收益率nonreplication不是过,我们会说它应该被认为是值得出版,然后在文献中很少会纠正错误,和我们的文学(甚至我们的教科书)将成为越来越大的堆unreplicable垃圾(正如约翰埃尼迪斯”著名的2005篇论文《公共科学图书馆·医学》杂志上让我们期待)。”

假设这个分析是正确的(有一个悲伤的事实,如果我们不复制我们的工作和其他人),解决方案是什么?令人高兴的是,Pashler的前线提供一种可能的解决方案。随着芭芭拉首位,亚历克斯Holcombe,肖恩·康Pashler帮助创建一个名为PsychFileDrawer.org的网站的补救方案。就像网站上说的那样,PsychFileDrawer.org的目的是成为“存档复制尝试在实验心理学。”使用“实验心理学”在这种情况下是广泛的,包含所有的科学心理学。网站的作者写道,“PsychFileDrawer.org是一个工具用来解决文件抽屉问题属于心理学研究:扭曲的科学文献的结果未能发布non-replications。”其创造者敦促研究人员发布在网站上复制尝半岛体育官方网址入口试(成功或失败),和网站指定游戏规则。我敦促读者看一看。尽管该网站最近才开始,它应该被证明是一个有用的补充对所有领域的心理学。如果一些研究人员(或研半岛体育官方网址入口究机构)的报告,他们不能复制特定的发现,这将正式通知田野,在文献中可能存在“假阳性”的结果。各种失败的作者甚至可能合作档案》杂志上发表他们的发现。

最近我们这个领域的关键考试,尽管痛苦,可能导致我们在另一边。当然,如上所述,复制失败,其他问题(欺诈,急于发布)不独特的心理学。远非如此。最近一期的科学(2011年12月2日;体积334、6060号)包含一个“数据复制和再现性”部分,覆盖问题在许多不同的领域。此外,一篇文章华尔街日报》(“科学家们难以捉摸的目标:繁殖研究结果,“2011年12月2日)覆盖失败复制在医学研究。因此,复制失败不仅是心理学的一个问题。不过,当一个欺诈的问题或复制成果的失败发生在(比方说)生物学领域,新闻记者不创建标题攻击字段生物学甚至所有的生物。看来,心理学是特殊的。