工业化作弊学术出版:如何对抗“造纸厂”

一个日益严重的问题的研究和出版涉及“造纸厂”:组织生产和销售欺诈手稿类似合法的研究文章。这种形式的欺诈影响学术出版的完整性,影响科学以及公众。假的文章怎么能发现吗?以及造纸厂可以抵消吗?

在这节课中,皮层下,多萝西主教与APS的柳德米拉Nunes metascience欺诈检测、工业规模的欺诈和为什么它是紧急应对假的文章被称为“造纸厂的工厂。”主教,他是牛津大学的神经发育心理学教授也知道她突破发展障碍研究影响语言交流。

未经审查的记录:

[00:00:12.930],柳德米拉Nunes说

在研究和出版,“造纸厂”组织生产和销售欺诈手稿类似合法的研究文章。这种形式的欺诈影响学术出版的完整性与科学本身的影响,而且对公众。这些假的文章怎么能发现吗?以及造纸厂可以抵消吗?今天的事件将探索这些问题。这是在大脑皮层。我是柳德米拉Nunes心理科学协会。今天我和我多萝西主教,牛津大学的神经发育心理学教授。Bishop博士著称的突破发展障碍研究影响语言交流,帮助建立和推进发展语言障碍。但是主教的利益远远超出神经发育心理学博士,她的博客,博客,主教所示。 At the APS International Convention of Psychological Science, held last March in Brussels, dr. Bishop presented her work on the meta science of fraud detection, discussing industrial scale fraud and why it is urgent to tackle the so called paper mills, or fake articles factories. I invited Dr. Bishop to join us today and tell us more about the battle against industrialized cheating in academic publications. Dorothy, thank you for joining me today.

[00:01:50.400],柳德米拉Nunes说

欢迎来到皮层下。

(00:01:52.360)——多萝西主教

非常感谢你邀请我,柳德米拉,这里是可爱的。

[00:01:56.870],柳德米拉Nunes说

所以我有幸看到你的演讲在icp,我认为这个话题是迷人的,因为这是一个不同类型的欺诈比我们通常谈论在心理学。我们谈了很多关于复制危机。一些研究人半岛体育官方网址入口员伪造他们的数据,但这是不同的。你想解释我们造纸厂是什么?

(00:02:23.950)——多萝西主教

是的。正如你之前说的,他们这种工业规模的欺诈行为。我想也许最初是帮助人们写论文语言原因,但后来转向了真正创建假论文,然后卖给那些需要的出版物,然后再将他们期刊。bd体育在线app下载安卓所以你有这些奇怪的论文真的可以分为两种类型。第一种是可信的造纸厂,这通常是由一个模板的一个真正的纸。所以他们已经真正的纸,然后调整一下,让它看起来像一个完美的像样的作品,但也有一些变化。还有另一种似乎很奇怪的论文谁读他们会觉得非常奇怪,他们可能是计算机生成的,或者在某些情况下,他们似乎剽窃或者可能只是基于非常基本的本科论文之类的东西。所以他们有点凌乱,但它们通常不会通过同行审查的事情。所以,我真正开始感兴趣的问题是,这些东西即使进入文学怎么样?

(00:03:39.910)——多萝西主教

第一种造纸厂,看起来似是而非,你可以想象,刚刚会愚弄普通编辑器。但这二类,看起来很怪异,不常多大意义和可能有各种各样的奇异特性,表明我们有情况在一些期刊编辑过程已经受损,编辑甚至可能与造纸厂的同谋。bd体育在线app下载安卓

[00:04:07.150],柳德米拉Nunes说

为了弄清楚,我们谈论的是文章更能进入著名的同行评议期刊。bd体育在线app下载安卓

(00:04:14.840)——多萝西主教

是的,我的意思是,再一次,有一个很宽的范围,这是一个进化的场景。我有时划等号,COVID之类的东西,因为它有点像被突然袭击了一些变异的病毒。但是人们已经发现,有很多的钱。当然,如果你能在著名学术杂志上的一篇论文,这是更有价值。事实上,如果你上网,这些往往不是英语,但也有一些英文广告,但主要是在其他语言论文积极宣传。所以他们会说作者出售,你付多少钱取决于口径的期刊和作者的立场。所以总有造纸厂的压力。他们认为这是一个巨大的成功,如果他们可以得到一篇权威杂志,或者至少到杂志上,说,Clarivate网络科学,这意味着它,这样你的引文索引将在H指数计算。我应该说,你可能会说,好吧,谁会引用这些如果他们真的垃圾?但他们也照顾引用。

(00:05:22.990)——多萝西主教

所以会发生什么如果你得到一个造纸厂纸在这些期刊上?bd体育在线app下载安卓负载的引用将被添加,通常很少相关的论文的内容,但它显然是提高造纸厂的其他论文的引文。所以这整个行业就像一个平行宇宙,他们在做科学和输出的所有特征规律的科学,但内容只是垃圾。

[00:05:51.810],柳德米拉Nunes说

是什么让你意识到,这个话题感兴趣吗?是一个特定的事件或你刚开始看到这些文章和想法这似乎是奇怪的,甚至有发表吗?

(00:06:05.970)——多萝西主教

是的,我试图回想实际上这事是怎样发生的。但是我认为我已经感兴趣后,我退休了。我去年退休,去年的这个时候,我决定我想要看更多的欺诈行为,因为我一直在关注你提到的再现性危机和问题研究实践和如何提高科学更普遍。但像大多数人一样,我认为我认为欺诈是相对罕见,更难以证明等等。我认为这可能是一个俄罗斯女人的人公司撰写的一篇论文在这和我,安娜Abalkina,我知道从萧条的通道,我们交换信息,和她提到她意识到一家造纸厂,一些论文的心理学论文。但她是一位经济学家,她并没有觉得她可以评估这些。所以我愿意看他们。然后我们发现了一个六岁的小巢的这些论文非常著名的心理学期刊,这真的出乎我意料的是,他们真的质疑他们怎么会在那里,因为这些都是那种他们可能基于原始项目之类的,但是他们没有办法进入日记的口径。

(00:07:22.040)——多萝西主教

它往往是很难找出他们实际上是什么。他们扑鼻非常笼统和交谈,你可能会说,嗯,你怎么知道不仅仅是编辑器有一个休息日?安娜的策略来辨别这些造纸厂论文和这六个来自一个更大的造纸厂,但它是你能找到的论文作者的电子邮件地址是假的电子邮件地址。领域看起来像一个学术领域,但你可以跟踪它,一个域,用于在网络上购买。所以你可以买这些电子邮件域,然后你可以加载和大量的电子邮件地址。通常,他们的电子邮件域地址不匹配的作者。所以你会有英国或爱尔兰的电子邮件地址,但从哈萨克斯坦,例如。可能发生如果有人移动工作。但它一直发生在所有这些文件,然后我看了看他们,他们显然没有看起来好像他们应该在任何地方发表。但你可能会说,好吧,我只是被困难。

(00:08:31.910)——多萝西主教

但真正的与这些有趣的一点是,在大多数情况下,他们已经开放的同行评审。所以你可以看看同行审查,和同行审查不像正常的同行评审。这是非常肤浅的。所以说,段落太长,打破它们。或者它会说,引用列表需要刷新。在这六个文件使用相同的术语,很短的裁判报告要求非常肤浅的变化,不参与的内容。和在某些情况下上市的同行评议者人在线如果你试图找到他们,他们似乎并不存在,或者有非常阴暗的存在。你不能发现他们所发表的任何东西。所以看起来好像整个业务的同行审查被用假同行评议者妥协与这些假假的电子邮件地址和假的作者电子邮件地址让这些出版物接受《华尔街日报》。

[00:09:31.750],柳德米拉Nunes说

所以你开始看这组六个文章,然后你超越。

(00:09:37.910)——多萝西主教

嗯,安娜已经远远超出,我不得不说。她有一个电子表格,我想现在去几千篇论文,所有这些类型的特色。当然,困难是你往往经过仔细。你不想指责谁写的完全合法。所以很艰苦的工作。她发现,最近另一个杂志。这是社会心理学杂志》上。这是一个威利》杂志上。还有另一个杂志,我不记得出版商,但另一个心理学期刊,看上去彻底的另一个小集群发生的地方。当然,我们想要做的一件事是说,这是怎么发生的? Because it does suggest that the editor was either asleep at the job or was involved in the paper mill. And it was hard to believe this because it looked again like a perfectly reputable editor. So the way we tried to test that was by actually submitting a paper to the Journal in which we described the paper mill to sort of like act as a sort of sting operation, in the sense that we thought if he was really just not reading the papers and delegating to somebody to just sort of go through the motions, it maybe he wouldn’t notice that our paper was highly critical of his journal.

(00:10:49.460)——多萝西主教

事实上,他确实注意到他桌子上拒绝我们的纸,说,这是一个非常肤浅的纸,这是搞笑给他所做的。这对我们确实证据表明出现了严重的问题他对待论文的方式。和我们抱怨和写完整人威利,最终这些论文都收回了,我很高兴地说。但是,是的,我也在同一时间开始看其他期刊。bd体育在线app下载安卓我的意思是,有很多人这样做,这是艰苦的工作。你可以通过这些期刊拖网。bd体育在线app下载安卓但还有另一种方式进入知名期刊,或许,虽然仍被列入Clarabay期刊,通过特殊的问题。bd体育在线app下载安卓所以一些期刊已经bd体育在线app下载安卓意识到的一个好方法的提交和提交如果你收人,这使得很多钱,是一个特殊的问题。所以他们广告杂志上说,你想编辑一个特殊的问题?事实上,一些你的听众可能有电子邮件这样的期刊说,你想编辑一个特殊的问题?bd体育在线app下载安卓

(00:12:00.010)——多萝西主教

我们非常喜欢这个。然后他们似乎没有足够的质量控制的人回答。造纸厂还有人清楚地意识到这是一个神奇的机会一个人作为一个编辑,然后他们可以接受任何他们喜欢。这是在一个不同的规模,以前我提到过。所以有很多hindawi期刊尤其是,再次是威利的一组中,不幸的是,bd体育在线app下载安卓但他们真的特别问题的数量大幅扩张。他们有文章,甚至比的《社会心理学杂志》上,他们真的是毫无意义的。所以我发明了一种术语,其中一些AI Gobbledygoop,因为你会有几个段落的道理,但只是无聊和不你不知道它要去哪,,但是他们的事。在某些情况下,他们对某事无关的杂志,像马克思主义在环境卫生杂志》上。所以你会有一些关于马克思主义,那么你会突然在中间负荷的非常非常技术人工智能的东西,全是公式和技术术语不与任何其他很大程度上就可以看到,然后最后会恢复到标准的东西。

(00:13:22.910)——多萝西主教

与这个奇怪的东西,它就像一个三明治中间与能力,你也不能说它是垃圾。但是你可以经常做的是跟踪维基百科。往往只是从维基百科。这些东西在规模。我的意思是,我们讨论的是字面意思有时100多个这样的论文与一个特定的编辑在一个特殊的问题。所以我开始做大的分析只是梳理某些期刊的网站上看到有多少人这些特殊问题众多报纸编辑。bd体育在线app下载安卓然后看之间的响应时间提交《华尔街日报》。

[00:14:05.810],柳德米拉Nunes说

我敢打赌他们快得多。

(00:14:08.340)——多萝西主教

往常一样,他们往往是非常快。然后我可以用这些文件是否有领带,在酒吧同行评论网站。Pubier是一个非常有用的文章出版同行审查网站,任何人都可以在一份声明中或者评论一篇论文。当然没有巨大的质量控制,虽然他们淘汰完全疯狂的事情或东西的诽谤我们。但基本上很多人开始捡造纸厂,并评论引用熊之类的东西没有关系,或者纸不承担任何关系杂志的主题,或选择复制或抄袭的材料,这样的事情。所以我可以显示有大量的这些酒吧同行评论,特别是对特殊问题,事情接受非常,非常快。和它发现了大约30杂志,我认为,很有问题,没有一个指标bd体育在线app下载安卓是一个造纸厂,但是当你得到足够的这些不同的指标,你可以开始,特别是在一个杂志上的论文数量,你意识到这是一个问题。

(00:15:22.420)——多萝西主教

所以,而让我惊讶的是,我的意思是,我不知道这些东西有多少。但是你可以有一个全职工作调查因为它变得更糟,我想,它会变得更糟,人工智能会变得更糟。并且更容易生成论文是假的但看起来不那么疯狂的那些我一直看着。

[00:15:43.940],柳德米拉Nunes说

这正是我要问你,如果你认为这些假论文的数量增加,人工智能可能扮演什么角色在掩蔽他们更好,使他们难以检测。

(00:16:01.000)——多萝西主教

是的,我认为这是非常可怕的,因为我们就在最近,我的意思是,有这么多的兴奋只是在过去的几个月对新出来的人工智能系统,可以生成人担心学生论文和东西。任何人都可以欺骗,很难把它捡起来。这也适用于学术文章。以前,一些试图使用AI无意中导致了非常滑稽的后果,因为他们想做什么,他们抄袭的东西,然后运行它通过一些人工智能,把它一种同义词典的改变有些单词,因为他们试图避免剽窃探测器。有时导致非常奇怪的转折词,尤其是在统计的东西。这不是平均数标准误差,这将是标准错误的意思。如果你知道统计数据,这是不好的,它不是所谓的。然后乳腺癌成为知心危险。还有一个家伙和团队,事实上一个人经营一个小团队的人在法国一直收集这些,然后反其道而行之的例子。

(00:17:06.830)——多萝西主教

他们实际运行的文章,捡起这些,他们称之为折磨短语识别造纸厂的产品。这是一个很好的方式确定的时候。当然,我怀疑它会有多长寿,因为机会一旦造纸厂人们意识到你可以这样做,他们会把它转移到别的东西,他们会停止使用,实际上,他们不再可能会发现有必要使用这个系统。但是我必须说它会导致很多欢乐的看一些人们投入论文时不知道这句话的真正含义。

[00:17:41.410],柳德米拉Nunes说

好的,我们一直在讨论这种方式欺骗和发表的文章,文章并不真实。但谁是受益于这些呢?

(00:17:52.550)——多萝西主教

非常好的问题。很多人受益,不幸的是。可悲的现实是,有很多你需要的国家出版物发展你的事业。和前面的造纸厂是来自中国,在医学界,如果你想成为一个医院的医生,你做研究不感兴趣,不过你必须有出版,我认为,推进下一阶段顾问等等。当然,人们购买的动机这样的出版是很高的,事实上,我认为在一些文化中人们不认为这是做错了什么。有一种整体的文化问题,当然,你这样做,因为这是你必须做的事,你真的没有办法去生成一个出版。我认为,中国的学术制度开始意识到他们是一个巨大的问题,现在他们正在采取措施,防止这种情况。但它已经发生了,很多的Hindawi期刊,我提到的来自中国和其他国家也有这样的系统。bd体育在线app下载安卓

(00:19:02.940)——多萝西主教

不幸的是,哈萨克斯坦,乌克兰也在某种程度上,伊朗。所以他们往往是国家想进步的人是极端压力和资源可能是不太好。有时候你可以跟踪造纸厂,不幸的是,一些身居高位的人谁已经发现这是一个很好的赚钱的企业。所以一旦你得到系统中的腐败,不幸的是它真的可以鼓励。现在,当然,使得大量的金钱的人卖报纸的人,他们只是简单的骗子,但他们赚大量的钱。如果你生产这些东西和你收取人1000美元在一个杂志发表的论文你有大约100特殊问题每50个奇怪的论文。你可以做总结,并开始意识到收益是巨大的。然后出版商可以看到,有很多的批评认为出版商可能是同谋,因为他们赚了那么多钱从文章处理费用。但对他们来说,鸡已经归还原主最近在很大程度因为Clarivate摘牌Hindawi期刊的整个负载完全。bd体育在线app下载安卓

(00:20:24.090)——多萝西主教

所以我认为他们说的是他们一直在使用自己的,每个人的使用人工智能,但他们一直使用自己开发的人工智能系统,试图发现造纸厂的产品和已经确定模式,显然是异常在这些期刊上,意识到它是做了很多伤害的主要科学文献中。bd体育在线app下载安卓这是非常有害的出版商的利润,事实上,明显缩水。人们一直在记录他们已经失去了多少。所以最后,我认为人们会说,哦,嗯,出版商进入它的钱,但我认为他们必须知道它是不符合他们的利益得到一个坏名声出版垃圾。我认为问题已经不是他们一直在做这件事的目的,但他们已经眼无球跑动和他们真的不足够关注审查编辑的重要性。编辑器有一个作为看门人的角色,这是非常重要的。我认为编辑刚刚以为任何人都可以做,你真的不需要太多的资格或背景。事实上你显然需要人们不仅与一些出版物,完整性和某种形式的记录,你知道,是谁这么做的原因。

(00:21:40.850)——多萝西主教

,我担心你有印象,几乎所有人都将被接受作为一个编辑一段期间的2021年,2022年。

[00:21:51.570],柳德米拉Nunes说

这是一个问题,当然,因为它是一个道德问题,也是一个科学问题,因为这些文章可以损害科学的发展。

(00:22:05.040)——多萝西主教

绝对的。

[00:22:06.330],柳德米拉Nunes说

我思考,例如,大学生或非常年轻的学生不是很习惯阅读科技文章和不习惯审查的文章能得到错误的想法,认为这个研究其实是很好的研究。

(00:22:26.590)——多萝西主教

另一件要记住的是,我们现在在大数据的世界,现在有大量的研究涉及metaanalyses或在生物领域,大规模的大数据的事情,他们都在从互联网上很多。我的意思是,感觉就像癌症生物学,饱受造纸厂。很多人的研究涉及自动化流程拖网文献研究发现工作在一个特定的基因或某种特定的化合物,然后就把它们在一个大的数据库之间的关联基因和表型。现在,如果这个东西在那里,你可以想象它严重破坏的人然后想要使用这些数据库,说,药物开发。所以我不认为有可能相当平行,在心理学。但这样的担心,人甚至真的无用的人。我的意思是,如果你想做一个metaanalysis引发了负载及负载的论文,你必须检查每一个文件,你只是浪费你的时间。即使你得出结论,这是一个垃圾,你可以不包括它的堵塞人们的注意力和阻塞了文学。

(00:23:36.300)——多萝西主教

正如你所说的,有些人可能还不能够告诉它是垃圾。但即使我们做的,您仍然需要阅读它足够长的时间来告诉它是垃圾。

[00:23:46.010],柳德米拉Nunes说

它还浪费我们的时间。正如你所提到的在许多情况下,如果我们是做一个综合分析,我们可以擦洗的数据和拉的文章。如果我们信任的来源是很好的钙质来源,正常的期刊,这些文章就进入一个meta分析。bd体育在线app下载安卓

(00:24:04.270)——多萝西主教

例如,我的意思是,这个我想说的其他受害者,而间接,但你可能会说,受害者是科学的诚实的人。我有邮件显然来自伊朗的诚实的人,从中国那些试图向我报告,因为我不知怎么现在确定为有人拿起这个东西,同事正在这样做。我之前说过,通常这些都是很高级的人可能会这样做。他们渴望它停止了,因为从他们的角度来看,这是可怕的,因为,他们不能这样做如果他们有一个老板和B,整个国家,那个国家的所有研究出来然后诋毁以这种方式是有缺陷的。并且必须是可怕的人的一个诚实的科学家在一个环境工作,这些东西都是发生在规模。

[00:24:57.790],柳德米拉Nunes说

完全正确。我们提到在中国造纸厂,当然我们会更关注一篇来自中国作者和试图审查,这是一个真正的纸吗?这是一个假的纸吗?严重的人员,这是非常不公平的,对于那些实际正在做他们的工作。半岛体育官方网址入口但这个问题也对公众影响,有助于科学的不信任,这已经是一个问题。

(00:25:30.650)——多萝西主教

是的。我的意思是,有些人然后说,好吧,我们不应该谈论它,因为它会削弱公众对科学的信任。但是我有相反的观点,我们应该谈论它,表明我们应对它,因为我们不能指望人们信任我们。如果这类的东西。我们必须表明,我们可以处理它,我们认真对待它,因为除非我们表明,那些对我们真的很重要,我们要把它,我们真的不应该得到公众的信任。

[00:26:00.710],柳德米拉Nunes说

完全正确。我完全同意你的观点。我想隐藏这个问题不是帮助科学和它不会帮助公众信任的科学家。

(00:26:11.350)——多萝西主教

但这是一个真正的问题,当信任是侵蚀,因为我们已经看到,非常与COVID人到达的地方是,他们不知道该相信他们知道有一些错误的信息,他们知道有一些有用的信息。如果没有同行评审,或者应该同行评审并不是一个可靠的信号了,更重要的是值得信赖的,那就非常困难,因为没有人可以在所有这些领域专家参与诸如疫苗是否有效的判断还是一种疾病与症状相关。我们必须有一些机制我们知道某些类型的工作是值得信赖的。所以它是非常重要的为了防止污染的来源期刊和应该值得信赖。bd体育在线app下载安卓

[00:26:57.830],柳德米拉Nunes说

总结我们的听众,有什么,我知道你已经提到过一些,但策略我们可以用来评估一篇文章吗?我想主要是公众,如果他们发现网上随机的这篇文章吗?他们能确定如果这是一个真正的文章或如果它可能来自一个造纸厂吗?

(00:27:23.870)——多萝西主教

嗯,我认为这是非常困难的。有一些东西是显而易见的,就像折磨的短语。我的意思是,如果你有一篇关于帕金森病,而不是谈论帕金森病,它谈到了帕金森疾病或帕金森疾病,有很多这样的文学。重要的是要注意,很可能只是因为某人没有英语作为第一语言。因为即使你没有,你会阅读文献。这是关于帕金森病。所以这种替代表明一些可疑了,有人在故意试图掩盖这一事实,即工作是剽窃。所以折磨短语是一个很好的线索。非常快速的周转时间,这并不总是在杂志报道,但有时在杂志报道,我认为是可疑的。我的意思是,你可以得到幸运。 This is probably it’s not 100% watertime. You could submit your paper and it’s immediately sent out for review and people immediately agree to review it. But anybody who has published papers knows that the usual thing is that it hangs around a bit before they can find reviewers and then the reviewers sit on it for a bit.

(00:28:32.680)——多萝西主教

所以我们说Hindawi期刊我看着,期刊,特殊问题,可靠地设法扭转在bd体育在线app下载安卓两周内收到的第一反应。,我认为是可疑如果一样快,或者没有要求修改,如果事实上,不仅仅是收据,但实际出版是真的,真的很快。所以它不是100%防水。但是如果我已经怀疑我看到,我认为这是如此。网站酒吧对等的价值。我的意思是,你可以检查任何文章酒吧同行,看任何人的评论。但当然,不是100%。有时评论是不准确的,有时坏文章没人捡起。但你可以核对自己的论文看看,哦,是的,这是真的,这图是复制,说,从另一篇论文,或那些数字加起来不对。这将出现在酒吧之类的东西。 So that’s another thing that you can check. But I think my general view is that we should go more for prevention than detection.

(00:29:44.080)——多萝西主教

再一次,有点像病毒。我的意思是,如果你发现,你想做些什么。但我们做科学的方式可以被修改以使它更容易为造纸厂人操作。在这里,大多数的开放科学的方法都是很有效的帮助抵御它。有一个很好的癌症生物学家,珍妮弗·伯恩,他是主张在她的领域。她拿起很多真正可信的造纸厂论文有很微妙的错误在DNA序列和东西,你真的需要专家来挑选。但她说,如果人预先登记他们的论文或研究,与临床试验和你一样,你必须有一个注册表在你做研究之前,你必须有协议要做什么。它不可能让人们做尽可能多的,因为平均需要大约一年的时间学习。所以你不能迅速生产这些东西。如果你有公开数据,帮助极大,因为通常造纸厂纸会说,数据是可用的,但是如果你问它,它不是。

(00:30:54.470)——多萝西主教

和通常是更多的麻烦比值得生成假数据。这是不常见的,他们会这样做。和开放的脚本。你怎么分析数据?一个开放的同行评审已经证明是无价的。所以你不一定必须有同行评议者的名字,但如果你可以看到同行审查,通常你可以告诉是否正常的同行评审和论文的内容还是很肤浅的东西,显然是刚刚手挥舞着。

[00:31:26.570],柳德米拉Nunes说

所以,开放的科学实践,创建一个更透明的科学可以帮助这种类型的工业中和欺诈。

(00:31:36.550)——多萝西主教

我们可以让它更加困难。我的意思是,另一种方法是,当然,就像我之前所说,出版商编辑是非常严格和审查更好。但我认为你可以让它更多的麻烦比虚假论文值得来生成一个合理的如果你有更严格的要求人们需要做什么来得到发表。

[00:31:57.270],柳德米拉Nunes说

这是柳德米拉Nunes APS和我一直说话多萝西从牛津大学主教。这是伟大的你,感谢你这刺激的谈话和讨论如何改善我们的科学。

(00:32:13.950)——多萝西主教

非常感谢你邀请我。这是一种乐趣。

[00:32:16.990],柳德米拉Nunes说

更有趣的研究心理科学,访问psychologicalscience.org。