NIH研究同行评审

同行审查在美国国立卫生研究院(NIH)变得越来越深入了解,与官方的目标“优化效率和有效性,以确保美国国立卫生研究院将能够继续满足研究团体的需要,给大众。“这是否努力转化为重大变化仍有待观察。但毫无疑问,同行评审系统,像国家卫生研究院作为一个整体,有了明显的改变,包括审查委员会大小、组成、过程,和NIH似乎难以管理这些变化。

同行评审作为评估的一部分,国家卫生研究院召开“NIH地区同行评审咨询会议”(在纽约、芝加哥和旧金山)咨询与科学家。我是150人上午9月会议在芝加哥,几乎所有人都似乎资助的研究人员和/或过去或当前格兰特评论家。半岛体育官方网址入口的bdapp官网下载邀请我去分享我的印象。(会议的总结是可用的http://enhancing-peer-review.nih.gov/index.html在日历的事件)。

去一些细节之前,我应该注意到,美国国立卫生研究院努力改善同行审查似乎很真诚,虽然这种类型的高调复审的官僚主义是周期性的,可以说很小每一轮的实际影响。例如,在过去,国家卫生研究院咨询导致人们心理和决策,如李Sechrest和罗宾·道斯,但没有使用他们的建议在NIH的过程充分利用使资金的决定,是否在制定审查委员会的建议或最终由个别机构融资决策。我知道APS继续鼓励NIH使用我们所知道的关于决策和项目评估,我希望来自这些领域的专家将在每一个机会继续提供他们的指导。

文化的变化
芝加哥会议没有深入研究的科学决策或非常深入的机制由审查委员会决策。相反,大多数的讨论集中在可以称之为文化审查制度。两倍的美国国立卫生研究院的预算和随后的两倍数量的应用程序中,有一个巨大的增长在审阅人员的数量。一个NIH发言人报道,1987年,国立卫生研究院使用约2000评论家;到2006年,超过18000人。几乎所有的扩张取得通过特设评论家而不是通过扩大的定期委员会成员,对审查委员会与不幸的影响文化、审查标准和流程的一致性等。

APS NIH:用科学来提高同行审查 APS一直提倡使用决策研究和项目评估策略来改善国家卫生研究院的审查制度。执行董事阿兰德国人转达了这些视图NIH在最新一轮磋商与科学界同行审查。 “认为国家卫生研究院是一个财富500强的公司,考虑改变/修改NIH同行评审的方式一个财富500强的公司可能会改变/修改它的一个重要的会计系统。大多数公司会进行这样的改变有一个明确的评价策略。虽然有许多建议如何改变同行评议在7月30日,2007年,会议,每一个需要初步考虑的评价策略最好确定拟议的改变是一个很好的一个。提高同行评审吗?至少,它不会损害同行评审吗?许多展示自己的结果变量。同样优秀的应用程序下资助一位年长和修订的同行评审系统?(这可能包括同时运行两个同行评审系统,或者,更轻松,没有提到的部分——一个建议被别人在7月30日会议上,但通常是用于工业)。研究获得的旧系统和修改系统获得同样高的影响发表的期刊,和类似的引用吗?bd体育在线app下载安卓优秀的研究人员(例如,国家科半岛体育官方网址入口学院成员和优点获奖者资助同样在旧与修改后的系统? My main point is to note that any of these strategies and many others, including those presented at the July 30 meeting, require an expertise grounded in statistics and psychometrics among those implementing the revisions. This is different than the expertise needed in asking excellent researchers for their suggestions on how to change peer review. I will proudly add that evaluation is an expertise that psychologists and other social and behavioral scientists possess, a skill consistently developed with NIH funding. 我的第二个观点是有一个实质性的研究领域广泛被称为判断和决策。同样,这是一个研究领域,往往是发达国家卫生研究院资助的。2002年,国家老龄研究所授权者丹尼尔·卡尼曼(普林斯顿大学)获得诺贝尔奖对他在这个领域工作。半岛体育官方网址入口判断和决策的研究人员询问如何决定了。什么一个青少年发生性行为的决定影响吗?海关人员怎么决定谁搜索?结果的不确定性如何影响决策?在美国国立卫生研究院的一些同行评审变更提议在7月30日会议上,这些问题可能包括:决策系统的不同在面对面的同行评审会议和电话会议与虚拟会议吗?并参与决策过程的人数做一个差异,这种差异的机制是什么?做系统性的差异发生改变的评论员参与同行评审过程? Do variable numbers of ad hoc reviewers affect decisions? What about the number of reviews done by a committee? These and other questions require an expertise in judgment and decision making to answer (and even to correctly pose the questions). It is substantive expertise in psychology and social and behavioral science that needs to be added to the process of peer review reorganization.”

会话的其中一把椅子上,劳伦斯•Tabak国家牙科和颅面研究所的主任,在审查委员会会议上指出,现在有时“房间里有80人,其中大部分是广告的。“这肯定会产生更多不同的分数(因为使用评分尺度的不同,没有共同校准),不同程度的理解标准的许多资助机制,和其他委员会成员的专业知识的不确定性。这是一个导致分数不一致以及效率低下的讨论。例如,评论家常常纠结于这样的问题作为建立信任多少申请人关于提议的细节研究,没有详细描述;或者,奖学金申请的审查,权重应当对申请人的质量,导师,导师的参与,提出研究,提出正式的培训。合理的人在这些东西可以不同,它可以花一些时间一个委员会制定一致的方法等问题。大委员会成员不稳定的不会这样做。NIH职员不是在会议上告诉我,国家卫生研究院的高级管理层最近告诉检查人员增加使用“电子评论,”评论家从来没有达到面对面或通过电话,整个“讨论”是通过异步专用网站上的帖子。今年秋天早些时候参与其中的一个会议,我没有意义的委员会成员在讨论特定的应用程序,因为它是罕见的非指定评审者张贴任何东西。这排除了发展有效的委员会的文化。

高级摩擦
一个相关的现象是评论者的比例相对高级的和有经验的评论者暴跌。(当然,这只是我的经验,自1985年以来做评论。在早期,很少评审者是助理教授。现在,全职教授通常少数。)在芝加哥的讨论,这个资深评论家的相对磨损是由于诸如审查经验变得不那么有趣的智力和奖励(也是我的经验)和高级加速压力来自其它地方的人在他们的工作生活,所以越来越多的审查谢绝邀请。¹

在审查委员会服务现在是完全不同于一位经验丰富的教师我知道当我在研究生院描绘(当时经常三天)审查会议。他把他们描述为高级研讨会与领导同事在他们的领域,发现一个非常丰富和宝贵的智力。他们显然是他的专业经验的一大亮点。这段经历已经“进化”成会议用更少的时间要短得多互让和之间的相互教育评论家。

有钝讨论会议期间,随着美国国立卫生研究院的预算翻倍,纸币研究设置越来越多招聘青年教师“利用”(不是我的话)——也就是说,雇佣更多的研究人员比实际上可以通过设置,敦促他们得到赠款,舍去那些失败的人。这加剧了对资金的竞争,削弱了一些国家卫生研究院的预算增加的好处。想象一次又一次的预算增加了一倍。毋庸置疑,几年的滞后,规模同样数量的应用程序?当然,研究资金的需求将增长相匹配(再一次远远超过)供应。这不仅仅是贪婪。这个国家需要一个大大扩展研究投资组合。但不能由NIH的钱包(几乎无底)对资金的需求。全国(不只是国会)需要了解投资组合的必要性,包括基础研究与长期和不可预见的回报。

优先级分数的影响
寻找超越同行评审的流程和结构,也有质疑和如何使用优先级分数由审查委员会机构的融资决策。除此之外,这种质疑同行评审系统的相关性和吸引评论家也有实际意义。

一直有一些灵活性,但在过去,优先级分数的主要因素在决定在几乎所有机构资助。看来,国家卫生研究院近年来已经远离这一政策。NIH现在似乎有很大区别在他们严格遵循priority-score秩序。特别相关的心理学家,国家精神卫生协会(NIMH)可能是在遵循最严格的优先级分数。,项目工作人员——并最终研究所所长,谁让许多个人的融资决策的基础上,员工的建议——运动相当大的自由裁量权在决定是否支付高的应用程序(以及在决定削减预算多少或持续时间)。这不是说任意或不明智的决定,但比优先考虑其他得分-因此以外的同行评议系统接收大量的重量。

当然,一个人的观点,这取决于一个人的角色在这个过程中,作为一个潜在的主要研究者(PI)与边际优先分数;一位评论家努力批判,认为他/她的判断会获胜;一位国家卫生研究院的项目官员将不得不做出一个令人信服的案例研究所所长让拨款支付(或不);或研究所所长受到国会和各种团体的密切关注。在任何情况下,显然有必要申请跟相关项目人员的项目优先级在过程的早期。根据我的经验,项目员工通常是非常有用的。他们有理由试图吸引强大的应用程序投资组合甚至超出他们可以基金,这样他们可以为更多的资金。

视图的字段
尽管观众的评论是会议的重点,大多数的建议听起来不明智,不值得报道(但看会议总结上面的URL对许多额外的想法,提交书面结合这三个会议,通常是更好的开发)。似乎确实没有一个现实的想法,与观众有牵引,除了模糊的支持以某种方式使审查委员会服务更诱人的高层人士。进一步增加美国国立卫生研究院的预算,这可能不可能的短期内,被从观众的扬声器。如何赢得国会和公众支持这样一个投资并没有讨论。

似乎好的和可行的一个建议是给π一个机会评论初步审查前回顾会议。在某些情况下,这将节省整个8 - 12个月的审查或圆形和大量的文书和所有玩家的实质性工作。提出了这个想法的一种变体与纽约会议,并提交报告发布在旧金山的URL表明允许π提交一个简短的反驳后不久回顾会议。所有的这些想法会让评审拨款过程更接近,许多期刊。bd体育在线app下载安卓

一种不那么激进的选择是强烈建议审稿人征求π的澄清之前完成审查。事实上它是NIH的长期以来的政策鼓励评论者这样做,但在实践中却很少。根据我的经验,甚至是不再提到评论家作为一个选项,有时甚至是由国家卫生研究院人员积极气馁。因此,评论者引起了人们的担忧,即可以很容易地解决在评审会议前,而是π必须等待一年的时间,消耗一个提交的机会。没有人是这方面的当前的审查实践。

不弃船!
从广义上讲,过去40年里看到一段时间的宽松货币政策(据说NIMH资助的应用程序在1960年代末的80%),然后由一个相对紧缩的时期部分补偿收缩到人事管道,然后在资金严重收缩,最近非常巨大的增长在美国国立卫生研究院的预算和对这些资源的需求。具体时间最近的预算和需求增长有所不同,导致当前的荒年脂肪后几年,但事实上最近变化很小,相对于过去40年的整体风格。

现状还远远没有黯淡:房间里有相当大的精力,在国家卫生研究院的工作人员和研究人员。半岛体育官方网址入口美国国立卫生研究院的预算真的翻倍。支付行,尽管远低于是几年前,远高于之前的两倍(大约10年前六百分位)。许多研究正在资助!很多职业社会化是通过涉及很多评论家,尤其是年轻的同事,因此在未来的领域投资。

请加强和同意做评论如果NIH给你这个机会。最初的审查小组我主持十年前是一个小(N= 12),稳定的群多样化,一流的科学家。我们舒适、高效和负责任的方式很难实现在更大或更不稳定组。我学会了很多科学物质而言,国家卫生研究院的业务和目标,grantsmanship(特别是如何说评论家给予作者)。我得知格兰特评估通常是非常高尚的,不是反复无常的,一个进程可以参与成功如果一个是持久的。我和朋友还开发有价值的合作委员会。后来许多经验作为临时委员会成员和作为一个特设评论家常务委员会没有那么富有,但他们仍然是值得的。所以进去玩!这是在你自己的利益和好处。♦

---

¹我的印象是一个相对短缺的高级全国人在我们的领域,广泛,而不仅仅是NIH评论家之一。这个函数的很多东西,包括严重的经济问题在十年左右的时间,开始于第一次石油危机和大学预算的紧缩之后,与大学入学人数大幅增长和国家医学院纸币研究企业大幅增长。