坐在审判:神话和现实的同行评审

繁重的,time-devouring,它严重破坏你的生活和你的研究,它扼杀了创新,它对缺陷和低估的潜力,和工资之间微不足道的,不存在的。

为什么世界上任何人,更不用说我们国家最成功的科学家,接受什么呢?然而,每年成千上万这样做,包括一个相当大的干部的心理调查。

”,“当然,是同行评审,批准我们的建议匿名评估的过程途中生死攸关的融资决策。

“你第一次这样做,这是一个荣誉,有好奇心,“APS的创办人劳伦·亚当森说,主席在乔治亚州立大学心理学系。“十次你这样做,你挠挠头,不知道为什么。”

但她很快承认,她确实知道为什么:“对我来说,这是我对社区的贡献的科学家。这是一个很核心的方式完成工作,在不同的点得到反馈。同样,有一个有限的资源分布,和非常关心这些问题的人应该是一个他们认为是最好的声音质量工作。”

APS的托尼公诉,密歇根大学社会研究所的,表示赞同:“老实说,我相信这是我们做的最重要的事情之一。如果你资助的研究领域是更糟的是,如果你资金高质量的工作,你的领域是更好的。”

科学中心的审查(CSR),大多数的同行评审过程的监督在国家卫生研究院(NIH),大约有150站研究部分,加上特别强调面板(SEPs)召开以满足新的或新兴的需求。这些电池板使用一些评论者10000名科学家。这还不包括那些坐在审查个人NIH面板。

花时间来决定未来的人口科学研究达到可怕的比例当你考虑到另外50000个人评估每年30000的提议得到了由美国国家科学基金会(NSF),更不用说未知数量的人参与其他联邦研究机构的审查过程。

应该不足为奇,如此庞大网络的高度发达和高度自我激励的思想,邀请去拆散别人的想法和工作计划,催生了一些批评。应该同样奇怪,有些抱怨的过程是神话,有些很真实,有些是小的。

现实:这是一个大量的工作
“很耗费时间,毫无疑问,”艾特威尔康斯坦斯说,副主任单位以外的研究国家神经疾病和中风研究所(研究所)。

NIH的过程是如何工作的:在最近的过去,一个intimidatingly-large框包含70个左右的提议将到达每个审查员提供一年三次的家门口。如今,他们通常到一个紧凑的磁盘上,除了主要责任分配的三个或四个审稿人的建议仍然得到了这些建议的副本。在接下来的六到七周,每个专家将相当于一个坚实的一周读建议和写评论。

“这是一个繁琐的工作,需要大量的时间,“公诉说。“这与你的生活造成了严重的破坏。问题是你的职责。真的很艰难。”

然后他们在酒店见面,通常两天——在或接近华盛顿,讨论他们的发现和应用程序。应该注意的是,并不是每一个应用程序将收到详细讨论和得分。的过程称为“精简”,如果审查员同意授予应用程序不需要进一步考虑,然后审查者的个人优点和缺点的批评应用程序发送给申请人。虽然简化降低了研究部门会议的长度从2.5或3天1.5天,并有其他积极的影响,这个过程并非没有争议。虽然NIH表明有一个应用程序简化并返回不构成不满,事实是,它可以阻止新的申请者可能感觉。此外,评审小组中可能存在不一致的使用简化。但即使是流线型的表面上拒绝有积极的一面:批评可以提供有价值的反馈的优势和劣势提出项目,申请人可以使用为目的的修订。与non-streamlined应用程序,申请人认为,批评的审查小组犯了一个重大错误应用程序中,有一个上诉的过程。

在NSF,评审小组组织的科学项目领域和通常有5到10个成员。大多数心理建议用于五项目的地区之一——社会心理学,认知和知觉,发展和学习科学,语言学和认知神经科学。(心理学家也有座位在其他面板,回顾一些心理学的建议。)估计有40个左右的心理学家都是NSF审查小组的成员。

每个NSF委员会每年举行两次会议,回顾60到120的提议,每个专家分配主要责任10到20。最后,在国家卫生研究院的工作量是一样的,全国科学基金会项目主管史蒂文•j . Breckler表示社会心理学。在NSF,然而,现在几乎完全无纸化——处理过程开始到结束通过互联网或紧凑的磁盘上。国家卫生研究院正在朝着那个方向前进。

现实:工资很差
“你不要为了钱,“公诉说。NIH了酬金200美元一天的会议,加上费用,但是大部分的工作提前完成。

费尔南达费雷拉,密歇根州立大学的典型。费雷拉估计她花四到八个小时回顾每个每年约24拨款提案的部分研究语言,加上另一个18个小时的三个为期两天的委员会会议。每年150到246小时的600美元,2.44美元至每小时4美元。在NSF,只是更爱的劳动:费用。

神话:心理学家“吃自己的“
“我知道有一个普遍的看法,心理学家正在彼此更加困难比其他学科,“APS研究员,创办人基斯雷纳说,“大学的一起。“据我所知,这是国立卫生研究院的一个原因去了一个系统的百分比分数比绝对分数分配给一个更重要的建议。我个人的意见是,审稿人不出‘得到’任何人,有一个显著的公平与评审过程联系在一起。”

大多数人bdapp官网下载和似乎同意。

“我从来没有见过任何的证据,”NSF的Breckler说。“我想如果你去任何的科学领域,他们会说相同的字段。当我到达NSF六年前,我担心很多。我坐在小组会议在很多领域,数学,化学,生物学,工程学,我没有看到,心理学家被或多或少地苛责自己的比你会发现在任何其他纪律。”

拉斐尔·克洛曼,APS的大学专攻精神病理学罗彻斯特说,他不知道这就像其他领域一样,但“我坐在专门委员会由心理学家以及委员会的成员来自其他学科,但总是处理的心理过程,和我认为委员会通常是很重要,但总是努力是公平的。”

斯坦福大学的约翰·d·加百利专攻行为神经科学。任命一个国家卫生研究院委员会审查动物和基本神经科学以及人类心理学研究,他说:“这不是明显的对我来说,批评任何或多或少的心理和生物应用程序。”

亚当森同意在她的专业,发育障碍,评审小组,她一直在包括神经学家,儿科医生和其他人除了心理学家,但“我不发现,心理学家比其他任何困难补助。我不认为有纪律的偏见。”

卡内基梅隆大学APS成员玛琳代表说,她找到了NIH的审查过程是“明智的、公正和公平,非常好管理。我非常深刻的印象与系统。“同行审查尤为广泛代表的角度;除了在一连串的NIH电池板,她一直是一个特别的评论家等其他机构的以色列科学基金会、加拿大医学研究理事会和Wellcome Trust。

然而,费雷拉说她“可以直接比较语言学家和心理学家和毫无疑问的心理学家有点强硬。的心理语言学的理论,方法,刺激、意义和重要性——一切都是一流的。我认为大致相同的是适用于其他领域的心理学。

“我也认为心理学家super-analytical训练,并导致他们超临界。我不确定这是一件坏事,但我很自信,常常很好的工作没有最终资助,对于缺乏资金和因此有时过度严厉。”

艾,在研究所,说她已经听到了投诉,也表示赞同,“你可能会听到同样的评论从几乎每一个领域,他们觉得自己的异常激烈。”她解释说,至少在行为科学,有时“严厉的爱”的方法是因为“评论家感到他们必须建立科学严谨非常重要。”

公诉心理科学家还认为“不如我们需要宽容。是很重要的去寻找智慧的珍珠我们可能会(从拨款提案)比寻找致命缺陷。如果有一个真正的致命缺陷,它需要解决,但我认为我们跳转到这个结论有点过于频繁。”

最终,她说,这取决于一个研究部分的科学评估管理员(SRA),负责招聘的人评论家和设定基调。”给我留下了深刻印象。我一起工作的人非常擅长设定基调。他们会告诉你,‘我们在这里有一个重要的工作,我们需要做学术,严肃的方式。如果做得很好,很有礼貌。提前同意,你可以和将不同意。问题是你不同意什么语气。

“我已经在几个会议,人们感到他们的名声岌岌可危,这是一个个人侮辱如果委员会不同意他们的观点。和我已经在其他分歧的语气,相反,“哦,我很抱歉。我一定错过了一些东西,”而不是“你错了,我会证明给你看。你可以感觉的区别。”

这还取决于谁是招募——或接受任命——作为一个评论家。“如果你知道你有麻烦是公平的,我不会推荐它,“公诉说。“如果你有一个开放的头脑很好,但是如果你只相信你自己的方法,你不会是一个很好的评论。一些人认为他们的观点是唯一的观点。我们都相信一点。毕竟,你必须坚信自己投入如此多的生活中一个特定的研究工作。但必须有其他意见的空间。经验法则是不你是否同意假说,但测试假设的机制是否有效。我们不应该决定是否它是对还是错之前测试它。”

神话还是事实?它扼杀了创新
伽利略的故事被告知约翰尼斯·开普勒曾经写道他提出一个理论。高级的天文学家认为开普勒想法年轻的无稽之谈。开普勒的“废话”,当然,是月亮引起潮汐,发现最终使他正确地解释天体力学等的第一次。

故事有时被用来支持认为资深科学家不应该通过判断年轻同行的工作,他的想法可能与建立观念发生冲突。公诉认为否则,资深科学家做充分审阅人员,只要他们愿意允许一些分歧的可能是他们的传统方法。”

“我们当然听到这,老人将在他们的方式和不欣赏新的想法,”艾特威尔承认,但她说有一个反申诉。“另一个版本是,评论现在由年轻人没有调味料和广泛的照片,谁还不知道什么是重要的,所以他们不愿意冒险。显然有一个真实的内核任何传说或神话,但它也显然不会描述整个系统。”

批评自己,她说,经常被他们批评。“我看过那些水平批评,当他们在评论家的角色,减少对回和其他人相同的行为。尽管每个人的国旗敬礼创新,并不是每个人都作用于它。”

评审员,很难选择很多一流的应用程序中,她说,依靠可靠的,因为它更容易预测会成功,研究了对那些可能不是赌博。

“这不是我们的机构想要的,”艾说。“在我看来,如果我们基金的赠款是成功的,我们没有做一个好的工作选择的基金。研究的本质是,它并不总是成功的。我们从中学到尽可能多的出错或意想不到的结果,因为我们如果一切完全按预期工作。没有动力机构的这种保守的方法。这个问题是让评论者自己冒更多的风险。”

Ferreira说,她认为,“有时过程并最终保持良好的工作从资助“总的来说,尽管它帮助推进科学。“例如,如果一个创新的建议去面板,理论上对其的角度来看,这可能不会资助的研究。”

别的还在工作,她说。“必须承认,一个强大的社会动态发生在这些会议。如果我真的喜欢一个提案,并给它一个高分,但另外两个(初级)评论者不,我很可能会来一些中间地带和温和的我的观点。发生这种情况是因为我说服,部分是因为没有改变会相当对抗。偶尔我看过评论者不让步,让房间有点不舒服。”

亚当森说,对于她来说,她认为当前系统是否支持与新思想的年轻科学家,“部分原因是如果你看看审查小组,他们并不是所有的年龄,他们的很多人在职业生涯中期,有部分原因是它的一个好方法学习过程。”

“一般情况下,同行评审过程是否犯错有点保守,“承认NSF的Breckler,”但这不是一个戏剧性的偏见,在我看来。我们依靠很多来源的审查在NSF它抵消倾向保守主义。”

评论者之间的差异的原因之一是NSF优先级高,半岛官方体育appBreckler说。“在我的项目,例如,我觉得重要的是要有人谁知道团体动态区域,其他人知道刻板印象区和情感区。我们知道我们将会在这三个地区的建议。除了平衡内容区域,我们也希望那些反映了我们社会的多样性,在性别和种族,我们试图达到平衡表示地理位置。半岛官方体育app

“我也喜欢至少有一个相对初级的人。通常我会招募初级教员,一个博士后,他或她坐在一个面板一次或两次的经验和接触的过程。我感觉强烈给人机会看到从内部评审过程是什么样子。我也尝试招募来自地方的人没有很多慈善活动,例如人们在小型学院的教师。”

Breckler NSF试图找到年轻的科学家说特别的评论家也向他们介绍这个过程不提交他们“所需要的大量时间坐在面板。”

最终判决
评论家,bdapp官网下载与似乎普遍认为,克洛曼说,同行审查可能会“不完美”但也“评估研究的最好的方法。选择将过多的权力机构,控制资金。同行审查,原则上,使得更容易判断的质量会相当,也不太可能,一个重要的观点将占上风。”

毕竟,它的主要功能是“确保公众保护”两种方式,费雷拉说:保证工作科学家提出要做的就是“声音,逻辑,和安全,特别是科学涉及人类受试者或影响人类,”和确保纳税人的钱“不是浪费在愚蠢的研究项目。”

“我认为,研究人员在他们的研究得到反馈的想法是半岛体育官方网址入口非常重要的,”雷纳补充道,“是研究资助只提出研究的优点,而不是简单地作为一个函数的声誉。当然,之前的记录是考虑在评估建议,但它确实可以归结为研究资金的公平分配的基础上,提出了研究的质量。”

“问题是我们如何投资于科学研究,”艾说。“我们都有想法就如何完善同行评议制度,使其更有效率,但总体目标是最好的科学。”