数以百万计的发现在你的指尖

心理学领域产生了成千上万的期刊文章,其中,数以百万计的结果的影响大小(例如,相关系数)。作为研半岛体育官方网址入口究人员,我们依赖于这些发现几乎每个程度估计的统计能力,生成或证明研究问题,进行荟萃分析,解释研究结果,满足简单的好奇心,对一些人来说,在零假设意义测试的约定与同事开玩笑。毕竟,正如科恩(1988)所指出的,这些效果是“科学是什么”(p . 532)。所以,在一个时代,我们大多数人都习惯了Amazon.com,为什么我们还寻找研究发现传统的方式吗?为什么我们没有一个搜索引擎的研究成果?

大多数心理学家都熟悉传统的“自上而下”的文献检索过程。它开始通过指定感兴趣的现象,经过艰苦卓绝的小时的搜索和筛选。尽管在范围上令人印象深刻的,搜索引擎像谷歌这样的学者在高阶(即操作。,文章)的水平,因此,经常返回点击太少,太多的想念。这可以使搜索过程效率低下的纪念碑。

但是,如果事情有所不同吗?如果数以百万计的心理学研究结果与Amazon.com-like效率管理?想象一下如果研究人员可以访问一个网站,请求所有报告结果之间的关系,说,责任心和年龄,然后查看即时分析包含数百个先前发表的研究结果。事实上,这个功能已经存在了数年的领域通过metaBUS平台应用心理学(黄宗泽、Aguinis辛格、字段和皮尔斯,2015;黄宗泽、字段Larsen & Uggerslev, 2020张)。

metaBUS方法本质上是相反的当前的搜索过程。也就是说,平台系统从文件中提取所有结果然后允许用户指定检索和总结发现感兴趣的现象。metaBUS方法的一个明显的好处是可移植性:努力参与提取可用于促进研究永久,即使很久以后,实现你的最终目标,如出版。

超过1100000的发现和成长,metaBUS,据我们所知,最大的手工策划收集整个社会科学的研究成果。

背后的故事

作为一名博士生,我曾与教师热衷于本文和荟萃分析在组织科学(如Aguinis,道尔顿,黄宗泽,皮尔斯,&道尔顿,2011;道尔顿、Aguinis道尔顿,黄宗泽&皮尔斯,2012)。我开始说服自己,如果allprimary研究的研究成果在一个大的数据库,进行和更新荟萃分析将是一个微风。此外,许多“科学的科学”的问题可以得到解决。为什么我们没有开发这样一个数据库?可能是因为任务被认为是压倒性的。事实上,我被同事多次建议”获得任期开始之前一个疯狂的项目!”

但我不能帮助我自己。我是一个巨大的Microsoft Excel爱好者(还是)。,幸运的是,我曾在一个字段中,尺度效应,在超过90%的情况下,相关报道中不错,简洁的矩阵。有很多数据在这些成熟的meta-analyzing matrices-zero-order影响。在2011年,把我的注意力从我的论文,我开始尝试在PDF的组合提取软件和Visual Basic应用程序(VBA)在Excel中脚本(脚本需要转置提取的数据,删除非数字字符,等)。最后,我有半自动的萃取过程大约15到30秒/矩阵。

下一个障碍是“词汇问题”;,许多术语指的是同样的事情(Furnas,蓝道,戈麦斯,&杜,1987)。在收集几千行数据之后,很明显,各种条件的衰弱。我不能只是搜索“性能”(一种常见的应用心理学主题)和期望全面定位结果。我需要一个包含基本上所有的层次分类的事情研究在科学领域,每个条目标记的分类。2011年至2013年,我与Kulraj辛格和詹姆斯合作领域开发一个包含大约5000变量/结构分类。我们还为半自动的精制协议相关矩阵提取和手工编码。一起,到2013年,我们已经积累了大约200000的数据库结果和已开始与它回答“大科学”的问题(看黄宗泽et al ., 2015)。所有原始组件metaBUS今天仍在使用。

随着时间的推移,与资金援助和新团队成员,数据库增长和演化。我们也尝试了各种基于web的软件平台在最终决定之前一个平台建在R闪亮(Chang程,阿莱尔,谢,麦克弗森,2019)。今天,metaBUS平台使用经常应用心理学领域的行为和帮助荟萃分析。

metaBUS:

提取和分类的过程中发现与metaBUS始于半自动的提取相关矩阵的内容使用光学字符识别软件。提取被认为是半自动化,因为训练程序员监督每个矩阵的过程,以确保准确的转录成标准化的数据库格式。

接下来,为每个变量包含在每一个矩阵,训练程序员手动分配分类属于多个属性(例如,原产国,样本大小、样本类型、反应速率)。他们还根据metaBUS手动分类每个变量分类,分层的“地图”近5000结构和变量应用心理学研究。MetaBUS还利用R软件包分析搜索结果,从而使即时,基本的荟萃分析。

试驾的示威游行

以下是容易去自我改造功能演示面向新用户的metaBUS试驾。我演示metaBUS分类法和进行即时分析的过程。我也描述人们如何利用每个交付增强研究和研究生培训。

请记住,目前metaBUS平台包含发现appliedpsychology(即。,industrial-organizational psychology and related fields such as human-resource management and organizational behavior) simply because that’s where the project began. There is the potential to expand metaBUS to other areas of psychology, but a search at this time for terms such as “Stroop effect” or “word frequency” or “implicit attitudes toward sugared soft drinks” is likely to be disappointing.

示范1:探索分类法

为获得熟悉metaBUS作为起点,我建议探索结构的分类。按层次结构排列的分类法和包含近5000个构造或变量名,出现在应用心理学。如图右页,分类开始广泛的分支(例如,行为,的态度),每个主题贯穿了细水平。例如,行为包容员工绩效和旷工。在数据收集的过程中,程序员手动指定所有报道变量分类节点(由五位惟一标识符),提供某种程度的躲避的词汇问题。

研究用例:科学家可以探索分类浏览和确定的半岛体育官方网址入口各种术语用来指一个给定的结构。bd手机版官方网站首页从应用心理学作为一个例子,以下术语出现在出版来源是等价的:营业额的意图,离职意向,的信念决定辞职,考虑退出,感知的机会离开。因此,对于传统的文献检索,这样的词就会被添加到其他搜索变体。或者,进行独立metaBUS文献搜索文本字符串的缺点,可以依靠分类编码除了它们两者相反的文本字符串。例如,而不是处理各种各样的术语用来指营业额的意图,你可以简单地指定20179年(即。,an arbitrary 5-digit code representing quit intentions in the metaBUS taxonomy), which will capture all entries tagged by coders as20179年在数据收集,以及所有节点的“孩子”。

教育的用例:学生可以与分类交互来获得快速感知宇宙的构造研究在整个科学空间与结构的概念的理解的邻居。此外,由于节点大小比例根据构造的发生频率表的结果(更大的节点进行研究更频繁),学生可以快速了解方差研究关注的主题,成熟的荟萃分析表明,例如,区域。

我和我的同事们敦促读者浏览metaBUS分类,然后作为一个思想实验,考虑bd手机版官方网站首页一个他们熟悉的科学领域。对于我来说,这样一个字段是社会学。我问自己,社会学的一个类似的地图看起来像什么吗?我不知道,但我可以想象巨大的教育价值的“地图”社会学话题,安排的频率,特别是如果我是社会学的学生。

示范2:进行即时的荟萃分析

呈现metaBUS会议时,我经常展示的即时分析功能要求观众的名字两个结构。(感觉有点像一个魔术表演:“选择一个构建,任何构造。”)有一次,观众选择营业额的意图和自我效能感。我提交了两个构造metaBUS搜索,胡言乱语,几秒钟之内,我介绍了一个即时的结果,基本的荟萃分析,返回平均49的影响r06。同样的复制中所示的搜索条件的分析metaBUS平台上的图在这个页面(shiny.metaBUS.org)。

进行即时分析,必须指定两个搜索词的形式分类代码,文本字符串,或两者的结合。(见黄宗泽et al ., 2020年新“探索性”荟萃分析搜索功能,需要指定只有一个搜索项。)因为分类包含大约5000个元素,可能的分类搜索词汇数量,排列是相当大的。然而,许多可能对返回零结果;因此,我们敦促用户尝试在首先考虑搜索平台,包括流行的研究主题。(如前所述,构造频率可以通过对比确定metaBUS分类的节点大小。)

研究用例:最明显的用例的metaBUS即时分析功能是促进研究成果的位置。的确,结果往往是很难找到,因为他们的变量可能起到了辅助作用的研究(例如,年龄作为一个控制变量)和不可见在文章的文摘或关键词。因此,研究进半岛体育官方网址入口行荟萃分析可能希望搜索metaBUS定位后发现可能已经忽略了传统的文献检索。此外,作者经常需要先前发现的例子工艺手稿介绍或证明假设语句。在这样的情况下,搜索引擎的结果如metaBUS变得非常有用。

此外,我们设想各种meta-scientific研究使用metaBUS数据库。例如,研究检查的频率分布p值(即,p曲线)对现有的报告规范(例如,p< . 05),防止精确的计算p值。相比之下,metaBUS数据库包含1000000多个结果,每一个都有相应的样本容量。这将允许最大的调查p曲线,可用的细微差别,出版年,二元关系类型,并分析可能在一天之内完成!再一次,相关的前期工作结果的提取是移植到其他目的。

教育用例:荟萃分析增加了流行在过去几十年。事实上,现在很多研究生学位项目包括荟萃分析培训。metaBUS即时分析功能可以为这些课程理想的教学工具。事实上,使用这个平台,用户可以与贡献的影响(即交互。,toggle include/exclude and view impact on summaries), limit by sample size, publication year, and the like. Furthermore, students could gain familiarity with scripting languages by viewing the R script used to derive the meta-analytic estimate.

资金雄厚,协作的未来

在这一点上,有人可能会想,“metaBUS可以适应心理更broadly-beyond应用心理学?“我下意识的反应是,“是的,有足够的重活和协作。”

我和我的同事描述ampp(2020),相关矩阵的内容很容易提取和包含了大量的信息。然而,效果报告在其他领域(如实验心理学的)正是具有讽刺性的文章通常包含相对较少的影响,和多样性的效果指标(产生)和条件使具有挑战性的编码协议的发展和导航。换句话说,实验研究的有效编码是有可能的,但它需要一些严重的痛苦。然而,当然有心理学的其它领域(如军事、个性、发展、教育),传统上相关性矩阵或报道,随着时间的推移,与频率增加已经这么做了。心理学在我看来,最好的机会展示和促进有效、准确的管理研究的积压在短期内,是(a)重点地区相关性按照惯例(即报告。担心以后实验研究),(b)获得长期资金手册帘,(c)假设一个协作的心态。

我将精心制作的。

关于资金,我爱一粒神奇的药丸和下一个人一样。不过,我相信这是不明智的,在这个时候,数百万美元陷入无人算法/人工智能方法,希望能实现一键管理心理学研究解决方案。在我看来,这将是更聪明的基金手册effort-driven帘,由于这些原因:

它将花费更少支付研究生(例如,在夏季)手工代码或也许double-code-the积压。

这一努力将导致一个更可靠的数据库(与自动方法)相比,和它的内容会立即有用的各种科学的目的。

数据从手动创建的努力将成为最理想的“答案”晚些时候开发的自动化解决方案。

透过镜头,似乎资助者和研究人员通常把本末倒置了,而且浪费资源。半岛体育官方网址入口短期的,坦率地说,也许我们应该把工程工作工程师和心理学心理学家至少在我们的数据仓库。无论如何,专用,长期融资应该流直接从心理学的开发和维护这些利益相关者手动策划搜索引擎。优先考虑的内容管理和索引的结果是,在我看来,显而易见的。

关于合作的心态,让我先注意竞争不一定是一种不健康的事情。事实上,学者经常争夺有限的杂志空间和研究经费;我们不是陌生人识别经济和享受”第一,“”创始人,“”,“”首席研究员”,等等。然而,一些努力,比如那些参与策划整个科学领域发现,依靠协调工作(如柯林斯,摩根,& Patrinos, 2003)。更少的资源会被浪费十几驱使的团队希望通过协调努力确保各自的地方,壮志凌云。这只会导致延误进度,或者更糟糕的是,不兼容的数据库格式限制合并数据和回答更大的问题。

我乐观,metaBUS方法(通过任何其他名称)将传遍心理学和超越。实际上,研究结果是很重要的,它是不明智的赌搜索引擎提供的价值。我只希望它将合作完成,这样效率和科学洞察力可能会占据上风,因此科学家近期,least-resist开发“神奇药丸的冲动。“这是一份工作,目前,需要费力的正确完成。

metaBUS一眼就

•MetaBUS是一个基于云的research-synthesis平台坐上世界上最大的收集策划社会科学的研究

发现。

•1113000多个研究结果来自14000多个发表文章

•超过1175用户(教师、学生和从业者)一起进行大约13000搜索

直到2014年•资金来源:没有;后来来源包括美国国家科学基金会和人文社会科学研究理事会

•44团队成员(在metabus.org/about_us/上市)

•在metabus.org了解更多,或者探索平台,包括一个交互式版本的分类法,shiny.metabus.org。更详细的看看metaBUS,也看到黄宗泽et al。(2020)。

引用

黄宗泽,f。,Aguinis, H., Singh, K., Field, J. G., & Pierce, C. A. (2015). Correlational effect size benchmarks.应用心理学杂志,One hundred.,431 - 449。

黄宗泽,f。,Field, J. G., Larsen, K., Chang, Y., & Uggerslev, K. L. (2020). Advancing meta-analysis with knowledge management platforms: Using metaBUS in psychology.心理科学的方法和实践的进步。提前在线出版。doi: 10.1177 / 2515245919882693

常,W。,Cheng, J., Allaire, J., Xie, Y., & McPherson, J. (2019). shiny: Web application framework for R (Version 1.3.2) [Software]. Retrieved from http://cran.r-project.org/web/packages/shiny

科恩,j . (1988)。行为科学统计能量分析(第二版)。山谷,台北:Erlbaum。

柯林斯,f·S。,摩根,M。,& Patrinos, A. (2003). The Human Genome Project: Lessons from large-scale biology.科学,300年(5617),286 - 290。

Furnas, g·W。,Landauer, T. K., Gomez, L. M., & Dumais, S. T. (1987). The vocabulary problem in human-system communication.ACM的通信,30.,964 - 971。

Neppali, K。,Caragea, C., Mayes, R., Nimon, K., & Oswald, F. (2016). MetaSeer.STEM: Towards automating meta-analyses。d·舒尔曼& m . Wellman (Eds)。《第三十AAAI会议28日创新应用的人工智能和人工智能的会议(5卷,pp。4035 - 4040)。帕洛阿尔托,CA:促进会的人工智能。