总统列
严格没有死后僵直:APS委员会讨论研究的完整性
请原谅这进一步转变从路上我们在我之前的列。列两个月前,我原计划是流离失所的回应相当大,各种媒体注意社会心理学家的伪造的数据和随之而来的质疑心理尤其容易受到欺骗。言下之意似乎是,许多,如果不是大多数,心理学的最引人注目的结果可能是伪造的。[我]我认为在我先前的专栏,没什么特殊的心理学在欺诈,荟萃分析表明,欺诈是罕见(约2%的研究人员承认这一点),这工具内在科学的实践,如复制、帮助根除“假阳性的问题”,或者第一类错误(认为存在一些影响,而实际上它不是),并产生一个科学我们可以相信。半岛体育官方网址入口
但我们能做得更好,至少在鼓励实践,使科学的感觉功能更有效率和有效?APS董事会接受了这个在12月初我们撤退和相关问题。讨论动画,(在我看来)卓有成效,所以我们决定这个“Boardologue”应该与更广泛的APS社区共享。这是我们想出的计划:我会写一列列出的一些问题和可能的建议,然后我们将开始溢出的想法到APS网站通过董事会成员分享他们的观点。第三步是一个开放的论坛,执法的相关性、冗余和尊重我们的社区。这是第一步。(二)
更多的二十年前,我是一个人邀请帮助庆祝25th周年明尼苏达大学研究中心的学习,感知和认知。演讲者被邀请去推测如何学习的领域可能会或可能不会改变在未来25年。我唯一记得的,我自己的是半开玩笑的预测,在25年的平衡仍然是一个好主意。观众笑了(可能是礼貌地),但后来,我实验室的研究生,大卫·肖告诉我,笑声平息后,他转身问旁边的研究生,“平衡是什么?”
嗯,我仍然认为平衡控制秩序影响是一个好主意和研究设计时应该使用许可。此外,它可能是不方便这样做并不让我作为一个好理由不平衡。是的,你可以剪切和粘贴的部分问卷6次当似乎一个订单要做,但我认为这是值得的。首先,如果你发现没有秩序的影响,你自己一个更健壮的模式的结果。第二,如果你发现秩序的影响,你可能会打开一个新的调查,也许关于某种启动效应。如果你不平衡但获得统计上显著的结果无论如何,你不会知道你是否有幸进入一个问题的顺序,可以产生利益的结果。所以这个问题与其说是“假阳性”比它周围是一种虚假的安全感的普遍性的结果和你的解释。
现在我们转到其他建议从我的愿望清单。
1)平衡(见上图)。
2)方法和程序。在期刊似乎推动简化一切,包括方bd体育在线app下载安卓法部分,这是很危险的,可能相关的程序细节将会丢失。如果我们知道(或认为我们知道)一个混乱的和整洁的实验房间或美国国旗的存在会影响参与者的表现,似乎奇怪克扣细节的因素并不仅仅因为当前的利益。启动效应上有大量的研究,但我们似乎平静的写,实验调查的一部分的任务(我们认为)不相关的担忧。考虑到补充材料可以放置在网上,为什么不坚持提供细节,让整个科学界判断他们的相关性?
3)在早些时候的一篇专栏文章中,我建议关注实验者预期效果似乎已经过时了。为什么不要求作者报告实验者是否盲目假设?[3]
4)< \跨度>是上个月指出,芭芭拉首位,的编辑心理科学观点和其他正在努力开发一个归档试图复制实验现象。(四)为什么不要求作者,再补充材料,来描述任何相关研究进行了同样的假设,但选择不公布?[v](我将使研究异常明显有缺陷的设计)。
5)另一个规则的例外(六)可能包含实际的数据补充材料。等期刊bd体育在线app下载安卓判断和决策,已经有了这个规则。
好吧,我将停止在这里因为我不想有意识或者无意识剽窃其他董事会成员。我试探性的底线是,我们可以添加一个触摸更严格实证的努力,或许可以通过一些细微的出版政策的变化。
但是我们不希望死后僵直。
一些知名的研究领域可能像III期临床试验,解决问题的方法和措施,唯一担心的是评估效果。其他领域,然而,可能依赖于开放式任务的因变量通常不能也不应该事先指定。为例,分析人民排序(图片)只不同种类的分类学关系将使研究人员盲目选择组织计划(比如排序根据栖息地物种被发现)。半岛体育官方网址入口在她的论文研究,我以前的学生莎拉山区(七)有一个伟大的交易里程要求农村威斯康辛州原住民和欧洲的美国成年人告诉她说“他们最后一次遇到鹿。”
这种工作提出了不同的挑战严谨,通常这不是可行的预先指定一个编码方案。我不确定我们所知的科学发展中编码方案,和我们的标准建立两分的可靠性,在我看来,仍不发达。(八)
我猜这是我们这个领域最令人兴奋的的一部分。我们有很大的优势在其他科学,我们专注于自然包括人类认知和行为的心理学研究人员和实践。半岛体育官方网址入口我们在本质上,我们研究的一部分,这就是为什么从不死后僵直不仅我们的科学进步,也是它的一部分。
所有的董事会成员参加了12月的讨论。这里有代表性的评论数:
受欢迎程度不应该定义科学Significance-Lisa Feldman巴雷特
可以Problematic-Roberta l . Klatzky普遍规则
我们需要更大的Questions-Gun r . Semin
受欢迎程度不应该定义的科学意义
1)最近,重视“创新”,“转换”和“改变”我们的研究。当然,这是很重要的,但它忽视了“正常”科学的重要性,库恩主义意义上的。授予应用程序现在不资助,仅仅因为他们是增量。并不是所有东西都是范式转向是有价值的。
2)之间似乎有一种模糊的边界受欢迎的和科学的影响。直到最近,大多数科学家并不关心他们的工作是否传达给公众。这当然是一个问题,但现在天平似乎已经在相反的方向:有时看起来好像我们太过于在乎,和科学饱受折磨。
科学家们现在有竞争的目标。一是发布工作新闻价值(例如,提到的纽约时报科学部分)。第二个是出版工作是理论上重要科学问题作出了重要的贡献。这些不一定是相同的,因此不应被混淆。但他们往往。论文的结果往往是炒作的方式更合适在一份新闻稿中比在一篇科学论文。学生现在引用流行书籍(,在最好的情况下,第二手来源)作为证据的发现或效果,而不是引用科学论文。通常报纸被修复(在科学当然,有些甚至声称这是发生在心理科学因为他们没有新闻价值或引人注目的科学即使他们非常重要。
通常,当我们试图向公众沟通的事情(例如,调用冻结行为“恐惧”,称收购冷冻语气通过经典条件作用学习“恐惧”),这个过滤器回到科学本身的方式并不是有用的(例如,相信“恐惧”有一个统一的生物原因)。
3)公众还没有一个很好的基础科学和科学教育的价值。因此,他们认为应该有应用价值的研究,提供。他们经常不明白理论不是猜测或假设——这是一个科学的解释,建立数据——或者他们迷惑效果与一个理论。
4)许多心理学学生不再接受教育在科学哲学,这限制了范围和有效性的理论构建的尝试。
- - - - - -巴雷特丽莎·费尔德曼
技术可以帮助
为了鼓励复制和促进透明度评估方法,我建议每个发表论文包括视频的实验协议(忠实地复制上下文、刺激、空间布局、实验者语调,注视,踱步,反馈,等等)。这将基本上服务的目的,目前部分方法打算做什么(允许他人复制的研究),但将使用目前的技术来捕获更多的细节和细微差别可能用简短的语言描述。这个小步骤可能会有几个好处:(a)复制尝试更均匀,和轻微的过程变化的影响将会更容易测量;(b)方法论的缺陷产品或过程将更明显;(c)无意识标记的参与者可能是检测;和(d)的研究人半岛体育官方网址入口员可能会鼓励更多的责任在确保程序细节是经过深思熟虑的设计阶段的研究和统一数据收集期间跟随。有严重的问题需要解决有关如何保持现实忠诚不引入IRB担忧保密,但是我认为这些问题都是可以解决的。
——苏珊a >
普遍的规则可能是有问题的
我完全赞成严格和视自己的工作为在适当的尺度,不管他们可能。也就是说,我认为试图捕捉的一组最佳实践规则几乎注定要失败,考虑到不同的心理科学的性质。心理物理实验,例如,与一个已经出版N2的,可能只有作者(他显然知道假设)愿意承担数据收集的乏味工作重复性任务。这可能不是常态,但它说明了为什么不应该限制将应用普遍。我的工作经常使用仪器可以测量位置和迫使人们产生随着时间的推移,与相应的因变量爆炸的可能性。如果我发现一个变量影响混蛋(三阶导数的位置),而不是加速(二阶导数),我禁止出版吗?
罗伯塔·l·Klatzky
影响因素有太多的影响
我们有三个主要标准判断科学工作:严谨,重要性在某种意义上,它使一个重要的实证和理论贡献,和一般的兴趣。是正确的关注第一个标准,因为它本质上是唯一的一套规则或程序可以应用,但它至少是造成麻烦。欺诈或复制不出现故障,因为研究缺乏严谨,至少不是只要一个专家小组可以判断。关于实践的许多建议,促进科学严谨的判断是好的,比如出版原始数据(虽然我们已经有了一个系统,需要我们提供原始数据请求)。然而,分配日志空间或网络来表示失败复制添加噪声系统(我们如何区分不执行研究和正确的吗?),并要求作者在一份声明中是否成功的研究是伴随着许多nonsuccessful似乎邀请逃避,如果不是谎言。
更困难的问题涉及另外两个标准,因为都有强烈的主观因素。为了应对这一主体性,科学界一直试图引入一个测量的客观性。引用及其衍生物,如h指标和影响因素,认为衡量重要性的比例向其实用性,这样而不是仅仅将科学发现的脉搏,使用它们开出科学的方案。
很容易看出我们到达这个状态。只引用,这是有意义的指标后一篇已经发表的文章,被颠覆的命运来决定一篇文章中写道之前出版。这是它是如何工作的。期刊编辑和出版商使用引用计数来确定在给定的杂志上发表的一篇文章的影响已经在球场上和影响因素的基础上派生而来。曾经在的地方,这是文章被认为不仅在自己的优点,但在期刊的影响因子的文章发表。因为保持高影响因子期刊之间的竞争,文章不仅被评判的基础上,bd体育在线app下载安卓前两个标准,严谨和重要性的基础上,但也第三——一般利益,虽然没有科学价值除了吸引公众的注意力。作为一个类比,认为刑事审判中,陪审团指示考虑他们的判决将会对公众舆论的影响呈现之前决定。这种思维方式反映在日记风格方法部分,全部或部分的精确判断,是后面的纸和降级,最近,补充部分,只能在线和一个单独的搜索是必需的。此外,吸引高影响力的科学家为高影响力的刊物,评论必须快速转身,抵挡住仔细审查出版。我们很快就从使用引用作为一个不完美的衡量一篇文章的影响,让他们提前确定什么样的论文将发表。
大多数科学家可以告诉风吹往哪个方向,如果有些迟钝,任期委员会授予机构和政府部门将确保他们的感官磨。促销和资金,以个人、部门和大学(参见示例在英国和法国)越来越基于这些措施。知道他们判断这些“客观”措施,许多科学家,包括我自己,死于发布短的诱惑,吸引眼球的论文会得到高影响力杂志,而不是提交一篇论文和一个扩展一系列实验。bd体育在线app下载安卓我们已经看到这一趋势在我们自己的旗舰杂志,心理科学。我们拥有超过2000的提交一年不仅反映期刊的质量,这是高,但也影响高和短文章。一个或两个实验,而不是一系列的他们,会得到你。
当我还是一个博士后,一位著名的心理学家坐在的科学审查小组加拿大相当于NIH告诉我,在1960年代和1950年代,出版科学或自然并没有得到比一本章和远低于信贷专业出版,档案》杂志上。的原因是,它是困难的甚至就知道这篇文章发表在什么基础科学或自然,鉴于短,很难判断其方法的严谨性。我怀疑我们能回到那个时候,但我们可以淡化我们附加的重要性,不要引用,因为它们发生的事实后,期刊影响因子。增加严格,我们可以返回需要一系列的实验主题在我们接受出版之前,即使是在这样的期刊心理科学。
- - - - - -莫里斯以及
我们需要更大的问题
雄伟的生产的论文基于虚构的数据产生的人被认为是一个非常受人尊敬的成员,我们的社区和发表在“体面的”期刊被反射的主要来源。bd体育在线app下载安卓
我要借此机会,关注的问题提供了一种可能的解释未被发现的蓬勃发展的非凡的事件曝光。它是理论以及“非凡的”允许我们的科学和我们的一些著名的出版媒体鼓励。缺乏一个真正的范式库恩主义意义上的,缺乏真正的综合理论,没有问题,需要集体的关注和研究无疑是其中一个分摊因素允许这种类型的不当行为通过未被发现的这么长时间。追求知识的一部分声音片段成为质量的标准和意义判断,和我们的研究生项目越来越复杂的培训下一代记住这些目标。这意味着我们必须反映和工作上更大的问题,捕捉许多竞争的想象力的答案回答的缘故。这意味着我们必须培养下一代识别重大问题,教他们分离的大的声音的诱惑,并学会在团队中工作。
最近披露的不当行为,我们只听到的全部大小接近今年春天,也是我们的诊断价值和为什么我们在职业带来很高的赞誉,罪魁祸首以来问题积累了所有可能的荣誉在他的领域实践和更远的地方。的转变从个人到团队,这一过程正在制作中,还将有助于重新思考奖励的分配以及行政组织结构我们必须采用为了带来这些变化是必要的对于我们的科学进步和减少打嗝我们偶尔体验。
——枪r . Semin
复制将揭露骗子
我相信三分应该考虑在这个讨论:
1)欺骗和科学不端行为不幸发生在各个领域科学有很多种形式,直接锻造的年代数据不报告所有的数据被收集。心理科学并不是不同的在这方面,我们需要接受这样的事实,有不诚实的人在我们的领域。
2)复制、科学的特色,最终雪貂骗子——它只是需要时间。虽然是很重要的,我们采取措施作为一个领域可能防止科学欺诈时,它会发生,也许顺便数据处理和报告。我希望复制的字段不替代监管试图立法这不良行为。复制最终揭露骗子的仍然是我们的主要工具。
3)领域的绝大多数科学家在我们的诚实和勤奋,而这些诚实的人是我们的终极工具打击作弊——他们当东西是不对的,只要我们的机构保持一个开放的和没有胁迫的气氛,我们的诚实的同事将揭露骗子。这种情况发生在引发讨论。
——约瑟夫·e·斯坦梅茨
脚注
[我]鉴于我们的领域是一门实证科学,我会注意这(可疑的)声称可以进行测试。
返回文本
(二)最后列出的建议最近的西蒙斯,尼尔森,Simonsohn(2011)纸也构成讨论的好材料。例如,他们建议作者应该被要求决定的规则数据采集开始前终止数据收集和报告规则在他们的文章。我能看到这一原则的价值在某些领域的研究,但它可能在其他的不太实用。例如,在文化研究在我的实验室进行的,我们的非正式规则是类似“我们几个跑试验参与者看到变量数据会然后面试足够的线人,这样我们可以检测相当大的差异。”返回文本
[3]当然,有许多失明或双盲的情况下是不可行的。我的目标是增加实践当这是可以做到的。返回文本
(四)我应该补充说,哈罗德Pashler和芭芭拉首位是这方面的合作,协调是两个独立的项目。返回文本
[v]博士后在我的实验室里,索尼娅Sachdeva告诉我参加一个演讲,在某种程度上演讲者提到,“我花了十个研究最终产生这种效应”。返回文本
(六)一个例子包括丰富的数据集(例如,视频观测)可能以多种方式分析为不同的目的或问不同的问题。在这里,作者应该给出一些合理的时间去探索自己的数据之前公开。返回文本
(七)萨拉现在圣地亚哥州立大学助理教授。返回文本
(八)例如,“可接受的可靠性”标准让我有点武断。我想知道,例如,如果一些变异信号检测理论可能适用于调整两分说一些代码标准存在的差异。返回文本
评论
过于强调数量而不是质量
1。我被转移到的论文数量,远离工作是否代表一个贡献我们的数据基础。搬到简短的笔记这种便利。我担心在最近的一个博士或博士后候选人工作10多个文件,打了人与一个或两个非常有趣的和深刻的论文。很难想象如何候选人有足够的时间去做足够的重要研究。
2。负责实验室将他们的名字的人应该确定论文研究的数据。这确实需要时间,但良好的科学基础。
3所示。理论上新的和重要的结果应该被复制的实验室,一个好主意的人是天真的假设和结果。一个例子,
> r (1982)。访问一一对应:还有一篇关于保护。英国心理学杂志上的,73年,209 - 220。
4所示。工作有小孩需要一系列的试图开发一种工作方法。这些拒绝努力应该描述;否则,复制别人的失败的风险迫在眉睫。
5。批评,不包括原始条件的挑战结果是不合适的。作者应该能够提供他们的方法的细节,包括录像带。
5。实际上每个人都应该读的论文引用。
6。在2000年之前花时间阅读论文。
莉莎:你是对的。努力的,有新闻价值,在我看来,导致一个环境科学(系统构建的知识)后座。有时我怀疑我们是无意中鼓励这在我们可以理解的努力获得好工作,心理学家做宣传。
我完全同意复制是一个关键的步骤,建立科学发现的有效性和探测出各种类型的错误。不幸的是,很难(如果不是不可能的话)来获得研究经费支持复制,复制不计入任期或任何其他形式的专业认识,和复制很少发表。因此,这个途径确认的有效性几乎关闭了有趣的发现我们的专业文化的各个方面。
错误或欺诈在生物学、医学治疗方法不断提出和错误或欺诈冷融合或永动机在物理学中,但是他们不污染那些科学领域,因为他们被其他科学家调查和落空。虽然研究发表在心理学应该包括相关的细节设计和分析内部有效性和普遍性的特定的研究中,科研诚信的解决问题的方法不是对刚性出版法规和无尽的保证调查人员的需求。相反,字段的解决方案是为了奖励计划和记录非常重要的想法和发现。如果发现已经足够好了,其他心理学家想要跟进。如果我发现一个核心维度的人格的一个重要预测寿命长,别人会想知道何时和为什么。它不会不管多少作者在《华尔街日报》指令和清单。
我喜欢读所有董事会成员的言论,发现与他们多协议,不同的区段。下面是一个无序列表的反应。
•不仅在科学哲学课程,已经失去了。我看到一个常数战斗维护研究生课程研究方法。作为一个年轻的同事最近对我说,“我的学生将学习方法在我的实验室。“这让一个大型实验室负担π教下一代的事情如需要平衡和不需要诸如选择性报告和调整研究在中间。
•科学,自然,PNAS报纸在我们的领域是金色的令牌但短形式导致缺乏关键的细节和选择性报道,是非常危险的。甚至部分的补充材料并不能消除的能力研究真相如果他们选择离开。这些期刊也得bd体育在线app下载安卓到很多的关注在博客和其他网络媒体和传播病毒的方式的结论就不值得仔细看看数据。
•我想告诉我的研究生,最重要的是,心理学已经发明的心理学导论类放弃心理。多年来我们一直在做,之前乔治·米勒说,这是我们应该做的。经常作为教授介绍的人,我担心什么销售入门书籍通常是华丽和性感的发现没有被复制的审查。
•有关我最后的子弹,心理科学在某种程度上已经成为了受欢迎的和有价结果去网络和印刷媒体很快,通常商业证明。我想提醒人们简单的‘发现’前的某个时候冷聚变。证明之前,而不是一个故意恶作剧,只是草率的科学,犹他州已拨款数百万美元的实现快速、干净、简单的能源解决方案。我今天看到非常相似的事情发生在认知和大脑训练等领域声称解决一切的孤独症和精神分裂症。
•故意伪造的结果,我认为,并不是常见的资金,但草率的科学追求名声,和工作保障是太容易得到。与视角相关的新网站是一个很好的第一步。
1。我同意复制是一个重要的方式来保证诚实的结果从长远来看。
2。我也同意,可以使他人了解数据是一个好主意但是我发现经常作者不会这样做。需要有某种类型的执行机制。
3所示。我总是让研究生做数据分析,但我什么也没看仔细,确保似乎不正常。
4所示。我总是提前决定对象的数量。
5。这对你来说是令人震惊的:痴迷的hypothetic-deductive方法做研究的一个主要原因是糟糕的理论建设和H的事后。让我强调,这不是作者的错。编辑公开告诉作者做这个我曾看到这样的事发生。这里的根本缺陷是科学建筑基本上是归纳;人们不应该被迫作出理论然后让deductions-it很虚伪。好理论多年来开发基于大量的研究和整合的结果。许多科学发现是意想不到的。我的目标设置理论与莱瑟姆花了25年发展;根据现代编辑标准,不可以被创建。 It is ok to have hypotheses but they should not have to be deduced from non-existent (made-up) theories. The whole approach to theory building in psychology(and probably related fields) has been perverted.
科学欺诈当然是坏事,但它会发生无论我们保障措施落实到位。赌注实在是太高了。事实上,没有主要的学科,医学没有欺诈的情况下,肯定是充满了例子。重要的是要记住,科学是一种自我修正的企业。迟早,欺诈结果将受到失败复制。我们应该保持我们的眼睛和耳朵打开,当然,但而不是撕裂我们的头发当不可避免的欺诈行为发生时,我们应该祝贺自己制造问题。几个骗子不破坏良好的工作,绝大多数的我们做。
问题可能超出了帮助,但它在一定程度上源于我多年来反对一种趋势:越来越多的强调主题出版物的数量和一致性。它达到了疯狂的水平时唯一的证据占教职工和学生的评价。我们需要一个专业,巨大的文化心理学研究生教育的变化使那些学生心理知识的广度(和他们的教师)和专业化分享评价的重要性,强调数据,如果正确地复制,最终会被构建的理论,并坚持耗时(包括平衡!)试图构建为研究计划(好:“研究设计”)防范procedurally-biased, unreplicable结果。此外,学生的研究(至少一些教师研究)应该鼓励跟随埃德·洛克的5点。不是每个研究需求或结论应该用新的理论位置!我更倾向于接受日报提交,得出的结论是只有一组刺激研究报告建议但不是回答的问题。
我很高兴董事会正在讨论这些问题,希望你们都有机会读特殊节在一月期的观点。)
与此同时,我们的网站:www.psychfiledrawer.org
数以百计的观点但很少增加失败的列表复制。为什么?
只需要几分钟。人们抱怨他们的失败去复制别人的研究。我们都是害怕那些结果把我们的名字吗?
不同的人建议我,没有人会花时间在网上发布的东西,不会自己受益。我的回答:你有没有使用维基百科?是的,我们需要改变我们的文化。
复制是必要的,但不是适当的奖励,也足够发表。我们可以改变这个吗?
当发现冲突时,我们需要作者做莱瑟姆和Erez洛克的指导下做的。(莱瑟姆,他的Erez, M。&洛克,电子艺界(1988)。联合设计科学争议解决的关键实验的拮抗剂。j .应用心理学。专著,73,753 - 772。
许多评论家,包括道格曼迪,建议增加尝试复制。如果发表的研究实际上代表了一个错误,复制将确实的帮助,因为将会有大约只有5%的几率,这一发现将复制。但是如果有事实上的影响或关系(通常情况下),复制本身没有很好的工作。如果有一个效应或关系,错误不能发生;只有第二种可能发生的错误。雅各布·科恩和Gerd Gigerenzer的研究表明心理文献统计平均功率大约是50,随着时间的推移并没有增加。如果第一项研究获得重大发现,复制的概率仅为50%。同样地,如果第一个研究无意义的结果,这一发现的概率将复制也是50。所以复制本身并不是一个解决方案。但多个复制尝试累积知识至关重要,因为复制是必要的让一个荟萃分析的问题。 Therefore websites like the one set up by Barbara Spellman (editor of the APS Perspectives journal) that allow posting of any and all attempted replication studies are essential. As many have noted, journals do not publish replications, and without replications meta-analyses are not possible. And without meta-analyses cumulative knowledge is not possible.
这个评论扩展了我之前的评论复制的作用。一些评论家建议个人发表的文章应该包括至少一个或两个复制研究的关键假设。我们的想法是,如果一篇文章证实了一个假说,然后复制该确认在两个额外的研究中,我们可以相当肯定的结论并不是一个错误。这是真的,但是有一个问题,这个模型在实践中,许多这样的文章发表报告成功复制,客观的先验概率很低的发生而实际上假设检验是正确的(存在)的关系。例如,如果统计力量在第一项研究(基于效果观察和样本大小)是50 (value-see代表我相对评论),然后复制的概率(重大科研成果的概率)的两次复制研究(50)(50)=二十五分。所以当我们看这样的文章包含三个研究,我们应该看到两个复制研究重要成果等只有约25%的文章。从阅读的心理科学我的印象是,这个数字是100%或非常接近100%。这强烈暗示一些严重的错误。在最新一期的APS视角日报》这篇文章,他还和穆纳佛评论这phenomonon:“事实上,有统计上显著的结果出现在大多数文献远远超过我们预期即使效果确实是真实的报道(埃尼迪斯,2011)。”(p . 70)我们不谈论我错误类型。我们谈论的是一个不自然的和非常可疑的II型错误统计缺乏逻辑应该有但不是说。 I have commented at length on this because I do not see that any of the other comments have addressed this problem.
利用复制无疑是一个至关重要的方面研究生产“伦理”路线。然而,不能要求只有科学家复制。事实上,复制应由期刊和提升机构、协会和决策机构,最终Lab-leaders(在和实验室bd体育在线app下载安卓之间的复制)。半岛体育官方网址入口不同学科的研究人员和学者积极发布原创和创新的研究不管方法论的详细描述。换句话说,整个科学生产系统应该将其恢复到一个荒唐的“勺病”。
越多,我们把大学变成竞争性行业,我们将鼓励这种做法。它是完全可预测的。
复制通常被认为是“金标准”——我们必须担心复制
(一)仅仅报告资本在一次又一次的机会
例子:当N = 10,显著影响(相关性,意味着差异等)将是巨大的,无论有多少次你复制。
(b)只是一次又一次地重复偏差
例子:一种广泛接受的建设可能产生一直比其他的合法措施构建不同的结果,不管你多少次复制。
荟萃分析的复制效果可以解决这些问题,但是一般来说,防止问题在研究优先(例如,更好的进行的n比事后纠正n研究研究)。
最好的,
弗雷德
- - - - - -
弗雷德·奥斯瓦尔德
副教授
莱斯大学心理学系
http://www.owlnet.rice.edu/ foswald
我的评论作为一名退休的APS和APA都明显不同,我的猜测是,APS军官和成员不会喜欢他们或会不舒服。不过,我会逃避我的责任作为一个心理学家,作为一个爱国公民(“我的国家,请做对,也没有错”)如果我忽略这个邀请的APS提交我的评论。
除了欺诈研究可能导致致命的或有害的后果,我可以想象,很少是在心理学领域中,APS担心是一个相对小的和无关紧要的问题(太多心理学研究在我看来是无关紧要的),当然也有尝试的能力不仅抵消糟糕的公关,也采取措施关于这个问题打扫自己的房子。
有两种类型的不当行为,非法和合法;第一个被行为低于法律的底线;第二行为低于一个更高的标准,道德的底线。我猜大多数(如果不是全部的话)欺诈的研究领域的心理学是法律的不法行为。
我要画你的注意力现在毁灭性的,有时还会致病人于死地的不当行为的两种来源。每天的直接来源,显现,是公司官僚制,美国自己的糟糕的敌人和全球的数以百万计的人类。
公司官僚制是魔鬼的婚姻之间强大的企业利益和美国政府的三个分支的。公司官僚制是直接负责美国在发达国家有最严重的社会经济条件和,并严格为二战以来最凶残的国家整体自私自利的目的。大部分的公司官僚制的不当行为是合法的,因为公司官僚制已经合法的。
我已经研究了十多年的公司官僚制;最近写了一本书;我尽我所能来激励美国人推出“一名强壮的民主权力,”形象地说公司官僚制。我知道它如何运作以及如何强大,重要的是在人类生活的各个领域;无论是个人、文化、经济、政治或环境。
在我的研究中我注意到一个明显的和值得敲响警钟的趋势在大多数领域的科学和职业,包括心理学的研究和实践。这些字段和职业越来越“公司制”;也就是说,它们越来越妥协和中和政府和企业融资。他们实际上成为一个不知情的,不知道的,或者自我否定的公司官僚制的盟友。公立大学,例如,已经成为企业污染来源的研究和教学。心理学家看了看周围,在你的自我。你点,例如,企业污染的研究或教学吗?你看到这里有公司赋予专业椅子?是任何你的工作由政府或企业,并且是你的工作的性质和结果过度影响你的顾客吗?
我将关闭以公司制心理学最令人震惊的例子我能想到的一时冲动;通过要求一个或多个心理学研究者做我没有时间去做的事情(我76附近,半岛体育官方网址入口该死的死于心脏病发作去年12月我必须适度能量和明智的选择我的活动);给你两个引用;问你一个问题。
这个例子中,没有进一步的评论的角色是心理学和心理学家在审讯的个体被怀疑是恐怖分子和在整个领域的军事研究和培训。
我的劝告是,在APS土地一个或多个教授和研究生应该承担的公司官僚制的影响的研究领域。
第三,如果你想看看我的评论背后的背景,你可以问你的图书馆,你可以阅读这本书的副本,魔鬼的婚姻:打破了公司官僚制或离开民主陷入困境;你可以阅读我不得不说在我的网站,http://www.uschamberofdemocracy.com。
最后,我问你最后一个问题:你在做什么在你的能力作为一个心理学家或对公司官僚制?
我们现在的大学/学术文化与不诚实的研究相关的问题。共同掌权的下降,甚至只是相识多年来发生了我的职业生涯。距离从大学教师住在四面八方,这样他们可能很少知道对方。许多部门庞大而分散,教员没有的知识,他们的同事在做什么。教师同事经常不与他人讨论他们的工作,他们更经常读别人写促销和任期决策往往通过简单地计算出版物和增加拨款,而不是阅读,思考,和评估工作。我一直想知道所有这些臭名昭著的欺诈的情况下可能已经这么久没有任何犯罪者的同事被怀疑。更不用说他们部门椅子。
弗雷德·奥斯瓦尔德有一点重复措施导致错误率增加串行;这就是为什么它是重要的在执行复制研究或家庭的整合研究错误率控制(例如,通过使用Bonferroni调整)。这将会限制假阳性结果的影响。
曼迪提出一个很好的观点在他的主要文章对III期临床试验和影响大小。在这些试验中,尽可能严格控制条件(双盲,安慰剂对照,预先确定病人人口)。结果主要来自安慰剂的收据和治疗。在更广泛的心理学文献,有较少的控制许多外在的因素都有助于引入的变化数据。这种融合的“生活因素”是心理学研究很有趣,但有时也很可疑。
如果每个心理实验可以进行精确和优雅的一个电子在磁场测量量子效应(和重复10000次的三天),我们可能没有这些问题领域;然而,人们不工作,这是我们研究的人类状况,而不是核现象。
本Locwin
约瑟,
我同意复制是极其重要的。直到我们作为一门学科开始奖励复制是不可能大规模发生。我觉得我们的重点不是他们需要的地方。本科课程和研究方法统计课程我谈论复制的重要性,但是在真正的学术世界,没有动力去复制先前的研究。
感谢道格曼迪和董事会成员发起这个开放的讨论。
我同意弗雷德Toates的评论;我们在某些方面,我们自食其果。
我还想补充说,科学已经成为令人不安的快速的步伐。数据采集、分析和发布正在加速建立最短的时间——从概念到传播。这种快速科学是一个好主意吗?是真的好吗?
我想研究产出的繁殖输出,r / K后选择理论:简而言之,一些跟随一个r策略(在每个生产许多出版物,投资小)和一些倾向于遵循一个K策略(生产很少,大举投资)。
(更多)http://en.wikipedia.org/wiki/R/K_selection_theory
这些策略深受它们执行的环境。k策略,似乎大多数人提倡在这评论——仔细的科学实践,强调质量,需要一个稳定的环境中茁壮成长。学术界已成为一个不稳定和不可预测的环境中,尤其是大学预算挑战当支持心理科学与政治意识形态(当然在我这一行工作——性研究)。
我们如何创建一个更稳定的环境中谨慎科学可以茁壮成长?
回写另一个格兰特,我请求关联的科学的性(除了在浮华的标题)。
欢呼,
梅雷迪思
- - -
梅雷迪思奇弗斯
助理教授,女王的国家学者
皇后大学
加拿大金斯顿
我同意你的说法,人气不应该定义的科学意义。我也认为心理学学生很少接受教育在科学哲学这可以限制他们的理论建设的范围和有效性的技能。心理学教师可能地址这个问题,将这类材料与教学的心理学课程。它对于学生理解尤为重要假设服务协调理论与实证证据。
这是一个非常有趣的和及时的董事会论坛,引发了一些伟大的评论。APS是表扬:1)拥有这样一个多样化的和知识渊博的董事会审查的话题;b)在编写董事会把个人想法,然后让提出的评论;c)已经让我们所有人看到新兴的平衡有关如何处理这个问题。看起来好像APS想纠正这个问题需要解决,但积极的态度。我真的很喜欢引用之前的想法试点工作。一个优秀的方法是说,“嘿,我这样做两次,即使一个小N,并得到了相同的结果或不同也是值得注意的。”
岁的互联网和尾注,不是大论文的scotomisation第一个科学欺诈?唉,我们甚至可以经常阅读论文和评论文章,很明显,缺乏足够的文献综述。
米歇尔Cabanac
神经学和精神病学
拉瓦尔大学
1。基本是复制的唯一途径确保用正确的方法做实验,或者发现先前由于缺陷是不正确的。所以复制是科学至关重要——不仅是重要的屏幕欺诈。成功的复制可以脚注位置;失败的详细解释。
2。上面的其他点关心的许多科学质量,没有明显的欺诈行为。这些观点表明审查和编辑上的严重失误。酒吧必须高的研究值得出版。bd体育在线app下载安卓期刊和个人发布质量差的工作需要调整;他们希望至少一个引文率下降。每个人都应该尝试他们最好的结论是否真的遵循的前提和结果;丽莎的例子只是许多方面之一逻辑可以失败。
3所示。因为科学的边界是未知的,可发表的结果通常包含惊喜。所以审稿人和编辑判断论文工作的质量和问题的重要性,而不是他们所希望发生的。半岛体育官方网址入口研究人员通过相同的镜头来判断自己的结果。作为一个长期(20 +年)编辑器,我怀疑这是两个最大的问题——如何避免偏见和看到它是什么性质,以及如何验证实验的逻辑。我认为这些都是方法,方法比欺诈,更重要的是后者。
2011年11月3日,文章“欺诈案视为心理学研究的红旗,”纽约时报科学作家本笃凯里提到Daryl Bem 3月的超感知觉的文章,2011年的《个性与社会心理学杂志》上。他说,“在这样的情况下,作者受到挑战往往不愿分享自己的原始数据。“在本的情况下,他错了。贝姆的原始数据可用于任何请求他们为计算机程序的源代码,运行实验,分析数据的数据库,和说明书对于那些想尝试复制结果。凯里还提到的批评贝姆的统计程序没有指出反驳批评发表在10月,2011年同样的杂志。
在我的博客(http://www.bestthinking.com/thinkers/science/social_sciences/psychology/michael-smithson?tab=blog)Stapel情况下,我提出的几个点,到目前为止已经在这个论坛。这些机会开门,作弊手段和动机的研究当前支持的科学文化心理学心理学(而不是唯一的)。我主要推荐归结为开发一个出版文化偏向出版不仅具有统计学意义的结果,鼓励真正独立复制,对待品行端正的“失败”复制相同,品行端正的“成功”的人,和没有特权的“复制”相同的作者或原始研究的实验室。复制荟萃分析和贝叶斯方法不是一帆风顺,但他们会明显的欺诈的情况下更容易检测相对较早。
在我的帖子我还强调了成瘾心理假设检验。我声称的有害结果成瘾是一种坚持,每项研究都是决定性的和/或决定性的:零假设被拒绝吗?补救我的建议是出版文化并不坚持每个研究有一个结论性的讲座,而是强调累积的重要性科学建立在多个独立的复制,仔细的参数估计和多个测试候选理论。我观察到,这增加了理由要求转向贝叶斯方法在心理学。
但是现在我想画出另一个推论,以及和Semin教授提出的相关点。目前的假说驱动的文化心理也是experiment-driven。实验和假设是我们的“声音咬。”They dominate our journals at the expense of both careful descriptive studies and exploratory investigations of heretofore unexamined or poorly understood phenomena. Both kinds of studies often tackle topics where there isn’t yet enough theoretical development to form meaningful hypotheses, let alone design experiments to test them. Because grants and publication outlets for such studies are hard to come by, I suspect that the discipline as a whole suffers from a tacit intellectual dishonesty whereby many of us attempt to persuade ourselves and others that we possess greater prior understanding of psychological phenomena than really is the case. While this kind of dishonesty isn’t cheating per se, it still is a stain on our integrity and produces premature theorizing and experimentation.
我认为在我们的领域的问题是更严重的(希望)非常罕见的情况下彻头彻尾的欺诈行为。最近论文审查或文档的心理科学家的实践表明,数据处理或者——更微妙的极其动力数据处理,经常发生(例如,约翰,Loewenstein & Prelecis出版社)。我理解这是一个集群的误解关于自然的科学数据是一个优雅的装饰和装修的想法。我年轻的职业生涯中我已经我认为非常好的想法,但不幸的是他们中的大多数被证明是完全错误的。我和我的同事们确实发现一些实际现象,也许这些也将被证明是有点有趣。所以,不幸的是,解决方案可以归结为旧的诚实原则,尤其是对自己。严格的科学教育不会伤害没有。
这是一个很好的一个:我们如何使用测量工具,假设每个单元间隔相等,当我们测量主观产生?
我的背景是在物理和我发现心理学家做科学的方式往往令人费解。例如,每个原始心理学研究论文应该有一个假设,然后一个实验来证明或反驳。物理学家都不研究。我敢打赌,他们中的大多数甚至会显示一个空白的脸当被问及他们的hypthesis是什么。物理可能是有史以来最成功的科学和研究是通过理论,通过实验,有时两人。没有要求人人都要做实验。描述实验或理论结果和论文都写,不需要有一个假设。也很有趣,有很多的兴趣看旧的发现,不仅新发现。
更容易发布复制。我和我的学生做过许多复制和发现感兴趣的期刊很少出版等工作;bd体育在线app下载安卓当然,尤其是当复制失败产生适当的发现。有多少未发表负面结果要反驳一个发表的结果吗?我们几乎不知道有多少失败。
我认为科学不诚实只能减少通过某种手稿提交正式要求的延伸。这可能包括以下几点:
1。需要注册研究假设数据收集前在中央数据库中。
2。扫描的提交形式包含一个简短的描述所使用的测量(如实验过程或问卷内容)和数据收集会议由每个参与者签署的日期。(如果该研究目标敏感问题,参与者可能希望保持匿名,这种形式的保密待遇必须保证,或其他证明数据收集发生时可以提供)。
3所示。原始数据应提交的手稿。
当然,这是可悲的,如果要求,比如上面的需要,尤其是在额外的任务将额外的负担研究已经花费了大量的宝贵的时间做行政工作研究的建议等。半岛体育官方网址入口然而,在生活的其他方面介绍了官僚主义的措施应对少数不诚实的行为。我认为没有理由,科学可以是一个例外。
失踪的科学,因此个人,诚信绝不是真正的至少心理或社会科学。科学是一种追求个人目标的各种工具:金钱和权力,自我延伸和成就感,在历史上留下一个缺口;而且个人和团体在许多方面的福祉。这不是“好”或“坏”,但必须科学需要延续的动力。然而,这是你能想到的任何科学学科的情况:它是“万能的”。再一次,这并不意味着它是“好”,但我们期待“欺诈丑闻”在任何地方,人们可以追求和实现个人目标。
“http://www.psychfiledrawer.org”背后的一个人说“人们抱怨他们的失败去复制别人的研究。我们都是害怕那些结果把我们的名字吗?”
好点,我是心理学实验室运行多年,我们经常选择的研究倾向于获得“重要”的结果。所以我们通常发现右视野优势的话,助记符帮助记忆等。
然而,另一个约束是心理学研究的不同领域。
我们很少能找到“风险转移”或“群体分化”的效果。我们很少能找到区别男性和女性使用的地图。
当然,我们可能没有设置研究,或参与者(通常心理学学生)可能已经以某种方式不同。
这将是有趣的结果研究使用大量的参与者如http://www.psych.uni.edu/psychexps/
这是我的药方。这与别人说:
1。正如确实“归纳”是错误的,这也是事实“所有分类规则会后悔”。需要报告的某些统计数据、视频的实验程序,等等,似乎有些过分。道格曼迪提到判断和决策(JDM),我编辑,需要发表的数据。这并不是真的。一些作者有很好的理由不提供数据,我不坚持他们遵守。(这是规定http://journal.sjdm.org。)
2。JDM还发布“试图复制惊人的结果”。也许“令人惊讶的”并不是最好的,但一些结果似乎违背我的贝叶斯之前,这是我的想法。有时这些尝试成功,有时会失败。
3所示。作者应该评估引用自己的文章(注意引用是否积极的还是消极的),而不是他们出版的期刊。bd体育在线app下载安卓新文章没有引用、促销和搜索委员会可能会读它们,来到自己的意见。
4所示。编辑时应该特别可疑的文章似乎重要结果源自尝试很多不同的分析直到其中一个工作。没有规则我能想到的识别这样的修修补补。但我跟着一个实践是问作者报告似乎对我感兴趣的最好的统计测试的影响。
5。bd体育在线app下载安卓期刊不应该吹嘘新闻报道。对我来说这是一个负面的。这让《华尔街日报》似乎他们更感兴趣的不直观发现通常被证明是错误的知识比在推进。
6。必须有其他方式向公众传达知识除了得到报道的新性感的结果。许多心理学的最重要的事情向公众说已经知道了一个世纪。
当然有问题在心理学作为一门科学。
问题的一部分是,心理学家不训练理解因果关系。拟合数据不构成原因的证据。方差分析通常解释为如果他们提供证据的原因。方差分析只是表达一个添加剂模型效果但没有指定这些影响的原因。方差分析是一种适合数据,经常被误读。我附上一个消息发送到我们的视野杂志俱乐部关于方差分析。
欢迎您的评论。请注意,下标似乎并没有允许他们按照话变量。
“互动”
统计分析假设的表演者和数学模型适用于分析所基于的数据。一些心理学家对这句话吃惊。一旦在教师会议麦克马斯特我得到了回应”你的意思是一个数学模型?我们不是做数学建模。”我asked, “Well, what do you think you are doing?” The response, “We are computing statistics.”
有很大的误解在许多社会科学家、心理学家之间也需要解决。方差分析(方差分析)和交互的概念是一个主要的统计工具,经常被人误解。
首先,方差分析是一种数学模型,应该是“适合”数据。在最简单的情况下,模型描述了测量误差对观测的影响。如果你的观测值是一个连续变量y,然后基本不变但未知效果µ(希腊μ)和连续误差e,是由高斯建模(1821),
Y =µ+ e。(1)
假设任何未知的、潜在的原因,实际测量受到变化无常的测量误差。而且这个错误仅仅增加了µ常数影响。如果还认为误差平均值为零(为什么会是什么呢?),那么,令人高兴的是,观测的平均值,这是期望值
E (Y) =µ+ E (E) (2)
=µ+ 0
=µ。
问题出现时,不仅仅是一个基本变量来衡量。如何确定是否有差异的影响依赖于不同的潜在变量,由于变量差异不仅仅是错误。特别是在农业、人想确定小麦产量数有差异肥料。
两个模型发展。第一个可能假设每个肥料都有其独特的效果。然后对化肥(i = 1,2,…,我)我们可以维持的基本思想
易=µi + e。(3)
如果您没有看到一个方程是如何工作的,把一些数值。在这种情况下,假设我= 4,µ1 = 5,µ2 = 10,µ3 = 1,µ4 = 4。然后,假设错误来自一个“正常”的分布方差说的意思是0和1。随机选择一个值并将它添加到一个值µ1,µ2随机选择另一个,另一个用于µ3,另一个用于µ4还有你的数据和数学模型的一个例子。
错误并不依赖于化肥,使测量,只说小麦的数量增长。这可能是认为同样是偏离整体意思µαi与个体的影响。这将导致一个不同的解释的测量效果。
易=µ+αi + e。(4)
现在的影响看作是偏离总体的意思是,µ。这些偏差必须有一个均值为零(通过证明)。(鉴于上述值,αi的价值观是什么?)如果我们减去每个平均值易对所有是一个Y,我们测量αi未知影响。自从αi必须添加零一些积极和消极。
但是,如果有两个单独的效果的原因,不同的肥料和种子。让我们添加第二个变量的基本思想。现在,
易=µ+αi +βj + e, (5)
哪里αi效果是由于化肥和βj效果是由于种子j (= 1,2,…, j)。
为了确定αi的未知值和βj一个特殊的实验设计是必需的。假设我们弄清楚。现在,运行适当的实验我们想知道αiβj影响我们的测量值的变化。这通常是方差分析的作用。我们可以进行计算,得到F统计,沉湎于“意义。”得到快乐。有一个啤酒。
几杯啤酒后,我们开始怀疑这个数学模型非常适用于我们测量的值。我们总是可以做代数、计算,但如果模型是不正确的,我们做什么?我们如何能确定的数学模型是正确的?
假设模型是不正确的。假设有一个另一个变量由于化肥和种子的共同结合,αiβj。也许这些东西用在一起,也许他们在联合行动反对对方。也许,也许,也许,也许。我们不知道,但我们想要提供一个测试的简单相加模型,方程(5)。我们通过假设有别的正在通过添加到模型的另一个术语测量偏差从简单的加性效应模型。新模型也就是说,
易=µ+αi +βj +γij + e。(6)
为每一个变量的组合,每个组合的肥料和种子,有一个组件γij影响测量除了假定由于α和β的影响。
模型仍然是添加剂,但现在我们需要确定哪些方程与数据的吻合程度最好,方程(5)和方程(6)。再次跳跃方差分析。让我们确定γij都等于零。如果是方程(5)是正确的,如果不是方程(5)是不正确的。这是一个测试对于“互动”。γij是由于变量α和β的交互影响。
在方差分析方面,如果你拒绝的互动是“重大”方程(5)。你拒绝的可加性的原因。你本质上拒绝的模型作为描述数据。你不能讨论数据,如果原来的模型适用于它。模型,方程(5),不适用于数据。
另一个点。我们谈论的是偏差,减少的。减法可以对实际变量。定义实数的公理系统包括一个公理减法。然而,减法不存在概率或比例。没有在概率论公理减法。这里描述的模型都需要减法。因此,这些模型并不适用于概率。方差分析,基于真正的随机变量,并不适用于概率或比例。
最后,假设我们一开始错误的放在第一位。假设的“真正”的模型由于原因的影响
Y =µαiβjγije。(7)
哦,一切都一起繁殖。没有可加性。如果你再计算对数得到可加性,
ln (Yi) = ln(µ)+ ln(αi) + ln(βj) + ln(γij) + ln (e) (8)
相同的问题再次出现的问题以及是否错误e是一个乘数在方程(7)或只是一个累加效应,以便更好的模型,
Y =µαiβjγij + e (9)
这是一个更好的工具影响的理解?再一次,一个测试两种不同模型的确定更好的数学模型,但不确定引起的任何影响。有一个啤酒
和思考你的交互。
________________________________________________________________________
【注:1837年为离散泊松模型提供了一个,不是连续的,变量。在他的模型测量的可变性是机制生成数据造成的,不是由添加剂测量误差。)
苏珊Gelman的评论后,我也认为心理科学出版可以更好地利用新媒体技术。
在许多方面,传播的研究仍然是建立在实际的论文对象的想法通过机构及个人订阅。
作为替代,想象一下网上的文章(“网络第一”还是在线),链接补充文件与程序的详细描述,包括照片和视频的实验室和程序的例子使用的刺激,副本的尺度/问卷(即使是那些已经是众所周知的,只要不是违反了版权),描述的试点工作或未如预期般工作,没有工作,和(在某些情况下)原始数据验证和最终的荟萃分析。
这些文章(文章2.0 ?)将丰富的文本,充分利用当前的多媒体功能,通过超链接,连接引用和更少的博客和网页等常规来源。
大量的细节将提供援助的努力复制和也揭示背后的故事所描述的研究。大量的研究遇到了错误的开始,改变方向,和一个进化方法,分析和解释。想象有多少读者可以了解的研究不仅阅读最后,干净的纸,也看到人员的路径。半岛体育官方网址入口
迈克尔濑户
我确实发现摆脱错误的论文几乎是不可能的,即使每个人都同意闭门是错误的。特定的例子是1968年的阿特金森& Shiffrin纸和我调查的细节可以在这里找到:http://www.webmedcentral.com/article_view/1021这里http://shortmem.com/Short%20Term%20Memory.nsf/dx/12202009014412PMEGTPYQ.htm。我想在普通心理学期刊上发表,但每个人都同意的是错误的所以我的描述为什么纸是错的bd体育在线app下载安卓不是小说。与此同时,一纸继续每年得到一百新引用,没有明确指出,纸是错误的!文章领域之外的记忆心理学领域保持指以及如果论文是正确的。似乎没有办法切断这一特定的错误…
我想关于科学研究和解决一些实际问题。
首先,我发现一个大问题是很多研究的发表偏倚,“负面”结果没有公布,很难得到。当其他研究者想要进行荟半岛体育官方网址入口萃分析或者评论不同的研究和选择池中发表研究特定的主题可能会有偏见的结果,就像当他想补充和替代疗法的有效性进行评估,并发现它有利。这个后来被恩斯特(和其他人)批评说它没有考虑凸轮研究发现负面结果,和研究没有与安慰剂控制相关的使用。需要一个更全面的系统研究(所有的研究,也没有支持你的假设)应该是发表在一个数据库,以同行评审,获得识别等一个以后可以更方便地访问它们。这似乎是一个问题在许多不同的领域进行meta分析,因此一个更好的系统应该提出(或者如果已经找到一种方法实现)。
其次,我认为应该有一个更大的强调说研究时发表的质量,也使公众更容易理解不同质量/评级系统的研究(不仅自己受过高等教育的人员)。半岛体育官方网址入口我知道使用不同的评级系统,但它似乎仍然不是针对公众,记者和媒体等等。我认为它应该更清晰。
FDA和其他类似的组织不是政府资助,但生存部分是通过赞助(其中一些制药公司自己)也引发了大问题在什么类型的研究,以及哪些类型的研究发表,而不是。Irving Kirsch已经说明这个问题在他的书“皇帝的新药物,抗抑郁爆炸神话”讨论的影响(或缺乏)的抗抑郁药物,并向他们展示如何drugcompanies试图掩盖显然大placeboeffect。
最后,人们应该更关注临床意义,不仅在研究统计学意义,这是相关的。
玛德琳Dalsklev
感谢你举办这次谈话——我认为这是至关重要的。不管它是正确的或公平的心理突然吸引了所有这些不当行为的负面关注两个人,我希望它继续只要媒体气味血液在水中。这是一个完美的理由得到秩序。
我的两美分:复制和发布负面结果的能力的基本构建块坚实的科学。心理学既没有。我明白为什么这是如此,历史和实践,但我认为这是一个严重的责任在销售领域作为一个真正的科学。通常认为科学是自我纠错,因为偶然的发现将不可避免地暴露。在心理学这完全是不现实的。
我有一个认知心理学博士学位,但本质上研究生后立即离开了球场,因为这些问题的存在性焦虑的灵感(我不是在开玩笑)。我现在的工作作为一个研究小组的数据分析师一个盟军字段,我追求一个女士在统计;有利的一面是,我认为这些问题是我工作的一部分,而不是分心会阻止我保持我的工作情况(本来我试图得到一个永久教职)。我还是一个骄傲的APS成员,虽然;我爱这个社会的变化和愿意正面面对的重大问题。我期待看到这个讨论的是什么。
复制的研究是很重要的,但是没有那么多的时候由原来的研究员(s)。事实上,是什么阻止骗子发明一系列实验吗?复制应该来自其他独立实验室。我们应该接受这样的研究经费,原始研究的期刊发表无论他们应该考虑公布这些复制的结果。bd体育在线app下载安卓指出,这些措施不会揭露骗子,但它会限制科学欺诈行为的直接影响,在这个过程中使心理学更耐虚假的结果。
生成数据的下一个阶段我们的科学将奖励良好的研究更为重要,产生有趣的论文来解释几件样品。别人评论的复制和收集数据的价值与研究有关。
相反,我们应该鼓励研究人员产生良好的研究针对常见问题。半岛体育官方网址入口而不是请求发表和未发表的研究的荟萃分析,理论应该能够去数据库和访问的一系列研究。
想象一下如果APS发表10研究问题每年春天的列表。全国,教师和学生可以准备为他们的未来的研究项目通过选择通过概念复制研究其中的一个问题。在项目的最后,收集到的数据,以及一个简单的APA风格报告侧重于方法,可以提交一个门户网站。此外,参与者可以邀请完成其他在线数据测量如性格、态度、或人口统计信息,从而提供更加丰富的数据。在一个理想的系统,高质量的项目将获得奖励和津贴。
我们发布太多论文太少的人阅读。相反我们应该创造更多的行为集中的数据,人类存在广泛的措施,让很多人分析数据。
当警告科学的专业化卡尔·波普尔(1958)写道:“对我来说,哲学和科学失去他们所有的景点…当他们变得专业化,并停止看,惊奇,世界的谜语。“然而,尽管1958年这些专门化已经由研究问题,今天,他们主要是由出版市场。当被问及为什么有人做这个或那个实验,答案通常是“因为很容易发布和将获得高影响因子”。
来抵消的影响文献计量学的方法,现在的德国研究基金会要求授予申请人提交他们的5个最重要的文章。有强烈抗议的评论家声称只有文献计量方法是客观和公正。然而,从文献计量学的角度测量理论主要是由菲亚特“测量”,也就是说,没有有意义的指标。
雷根斯堡大学的总统(2001 - 2009)我经常遇到文件搜索委员会主要由计算(赫希指数,citsation指数等)导致排名的候选人没有争论的内容和内在质量研究的候选人。在一个案例中,审查他的负面的判断基于事实“cadidate不够智能引用自己”。
这种情况在科学让我想起了衍生品市场,在泡沫破裂之前。科学是关于“理解我们生活的世界”(波普尔),而不是发表,引用——这是时尚。
。
重要的发现的编辑出版前要求一个独立的复制任何所谓的突破。
APS定期打开特定的在线文章讨论在我们的网站上。有效的2021年2月,你必须登录APS成员发表评论。通过发布评论,你同意我们社区指导原则和显示您的个人信息,包括你的名字和联系。任何意见、发现、结论或建议在文章评论的作家和不一定反映APS的观点或文章的作者。有关更多信息,请参阅我们的社区指导原则。
请登录你的APS账户置评。