自我报告

在防御的自我报告

丽贝卡NORWICK, y苏珊•崔和TAL BEN-SHACHAR
特殊的观察者bdapp官网下载

已经有20多年的自我报告数据的真实性第一次被严重质疑。当时,尼斯贝特和威尔逊(1977)提供了一个关键的考试心理过程的许多弱点的口头报告。自我报告的数据包含许多类型的自我报告的审查方法,并邀请的问题应该如何最好的使用自我报告给他们的局限性。

最近,自我报告再次受到质疑,这一次的纽约时报文章以psychophysicist琳达巴托斯萨克。1但在尼斯贝特和威尔逊相比,巴托斯萨克的言论几乎只关注形容词评定量表,她表明,也许他们不应该被使用。我们认为,巴托斯萨克的观点,在这篇文章中报道,是极端的,相反,我们认为,形容词评定量表数据确实有一个地方在心理学。

适当的问题不是是否这样的等级量表是合适的,但是如何他们是最好的使用。心理学有一个可追溯历史,指出这种数据收集方法的价值。例如,所用的长期使用语义微分任务在他们的考试。广泛,跨文化情感意义的检查颜色,亚当斯和奥斯古德(1973)成功地探索出几种趋势归因的影响,通过使用形容词评定量表。巴托斯萨克忽视这样的形容词评定量表在她批评的好处。

巴托斯萨克表示,使用形容词的等级量表可以是一个“可怕的错误”(巴托斯萨克,2000 b)。然而,“错误”与一些简单的预防措施是可以预防的。巴托斯萨克的一个主要的批评这种形式的自我报告数据是内部经验是主观的。例如,一个人的“很饿”(例如,饥荒受害者)可能意味着一些非常不同于另一个人的“很饿”(比如,一个首席执行官迟到晚餐)。

这个问题并不废除主观报告的价值。事实上,它是心理学的原因所以值随机分配参与者的条件。通过适当的随机化,应该有相同数量的饥荒受害者,迟缓的首席执行官,或任何其他类型的人巴托斯萨克可以想象在任何给定的实验条件。此外,有的时候我们想要或需要知道人们的主观论情况;自我报告的数据是唯一适合任务,比如获得个人的个人理论对他们的经验和他们的感受。通过使用随机化,形容词等级量表可以有效和有用的方法来了解这些信念。

除了随机化,重复测量设计提供进一步的保护关注形容词评定量表。在重复测量设计中,每个参与者的回答是晚些时候他或她的回答相比,不是一个不同的人的反应。克尼斯(1995),例如,使用重复测量设计评估参与者的自尊稳定性。在这种情况下,具体数字规模远不如后续是否重要评级增加,减少,或没有变化(斯佩克特,1994)。

半岛体育官方网址入口,研究人员可以并且应该保护所有类型的自我评定量表的缺点通过检查这些措施如何收敛与其他数据收集的方法。自尊文献受益于发现自我报告的数据相关的其他方式收集的数据(鲍迈斯特,1996;库珀史密斯,1965;克尼斯,1995;罗森博格,1979),允许自尊的扩张和澄清概念。很多重要的教训也可以学到不同的方法被认为是测量相同的经验不收敛现象。

Banaji和同事的工作与内隐联想测验(IAT)的研究提供了一个很好的例子受益于一致的和矛盾的结果之间的自我报告和其他措施。通过最近的工作检查多个措施的态度、清晰的理解出现了内隐记忆和外显态度之间的区别。坎宁安,传教士,Banaji(2001)发现一些隐含的措施了一般的内隐偏见构造,不同于明确的态度。通过收敛和发散,研究人员已经能够更好地确定IAT是什么,以及它是什么。半岛体育官方网址入口更普遍的是,很明显,心理结构可以更精细描述通过收敛和发散的证据。

最后,它似乎任意引用形容词等级量表作为他们使用不完美的工具和提倡结束在此基础上,从现实,所有的方法都有缺陷。尽管巴托斯萨克提倡使用其他自我报告测量形容词评定量表(如标记大小尺度,在木匠,2000),巴托斯萨克承认自己“不太可能,我们会找到一个真正感知到的相同的标准对象”(巴托斯萨克,2000,p . 450)。因此,解雇的自我报告数据收集的形容词等级量表似乎不合逻辑的,同样有缺陷的方法。是没有意义的等级量表是比其他方法有缺陷,如神经影像,没有引用研究的具体目标。避免使用这种技术将限制我们可以通过避开学习一个独特的数据收集方法。

我们应该好好教训尼斯贝特和科恩(1996),在他们的“荣誉文化”的研究中,使用多种方法组成的生理指标和行为的措施,以及自我评定,使一个强大的要求他们的理论。每个(不完全)方法导致建立一个明确的他们正在研究的现象,导致一个令人印象深刻的紧张和令人信服的荣誉的文化。

在我们这个领域的历史,可能留下有用的方法被忽视了或者路边由于的流行一个备用措施(例如,萧条措施和贝克抑郁量表:看到贝克,里亚尔&佝偻病,1974)。有时,这种关注单个测量如此有限,测量本身已经成为等同于构造,而不是简单地作为一个工具来获得关于主题的数据。这似乎对我们是一个目光短浅的,和最多产,方法的知识困境;这种思想促进了心态,只考虑这些措施和结果符合我们的偏见。学习或增长不可能有这样一个方向,和一些最伟大的发现当我们至少希望他们发生。事实上,一个广泛的程序的研究调查预期影响行为的强大的影响力推出罗森塔尔的论文中发现了实验者的偏见(罗森塔尔,1993)。

没有使用一个测量的借口,我们作为科学家,知道邀请偏见,产生误导的结果,或者威胁到我们现场的完整性。然而,也没有理由解雇一个潜在的洞察人类经验的重要来源仅仅因为它是不便或者需要付诸实践。相反,如果我们因为研究人员保持开放所半岛体育官方网址入口有方法,甚至那些有缺陷的,那么我们将继续提高我们的方法和科学。

1“研究挑战的心理研究,”艾丽卡古德,《纽约时报》2001年1月2日,p。F1。

引用
亚当斯,F M &奥斯古德,C E (1973)。跨文化研究的情感意义的颜色。跨文化心理学杂志,135 - 156。
巴托斯萨克,L M (2000)。比较各个个体的感官体验:最近心理物理进展阐明遗传变异中的味觉。
化学感觉,25岁,447 - 460。
巴托斯萨克,L M (b, 2000年8月)。从糖果到辣椒:事情没有味道是一样的。讨论在美国心理协会的会议,华盛顿特区
鲍迈斯特,R F (1996)。自负暴力和侵略性的关系威胁:高自尊的阴暗面。心理评估,103年,5-33。
贝克,T,里亚尔,W Y &佝偻病,K (1974)。短形式的抑郁症库存:交叉验证。34岁的心理报告(3),1184 - 1186。
木匠,年代(2000)。嗅探出味道专家长期测量监督。在心理学,31日监控,20日至21日。
库珀史密斯,美国(1967年)。自尊的先例。旧金山:弗里曼。
坎宁安,W,传教士,K J & Banaji M R (2001)。内隐态度的措施:一致性、稳定性和收敛效度。《心理科学》,121年,163 - 170。
克尼斯,M H (Ed) (1995)。功效、机构和自尊。纽约:充气。
尼斯贝特,R E &科恩D (1996)。荣誉:文化在南方的心理暴力。博尔德有限公司:北京大学出版社。
尼斯贝特,R E & Wilson T D (1977)。告诉我们可以知道:多口头报告的心理过程。心理评估,84年,231 - 259。
罗森博格,M (1979)。怀孕的自我。纽约:基本书。
罗森塔尔,R (1993)。人际关系的期望:一些祖先和后果。在PD布兰克(主编),人际期望:理论,研究和应用。巴黎:剑桥大学出版社。
斯佩克特,P E (1994)。使用自我报告问卷OB研究:一个评论的使用有争议的方法。组织行为杂志》上,385 - 392。

自我报告和超越团队比较
的一种方式

由琳达巴托斯萨克
特殊的观察者bdapp官网下载

Norwick,崔和Ben-Shachar自我报告在我的耳朵听来是音乐的热情支持。自我报告的基础是我自己的领域,心理物理学;至关重要的是,推断我们从他们是有效的。这个问题我已经解决问题的自我报告滥用可能导致错误的结论。1让我简要地总结这个问题在我看来随着解决方案,正在检查。

我们不能分享经验,所以我们不能直接比较的感觉或享乐在个人感知的强度。不过,我们可以做这些比较间接的如果我们能确定一个标准已知同样强烈。我们只需要问受试者利率的经历相对于标准。但是我们不能证明我们有这样一个标准,因为我们不能直接分享经验。

有走出这个盒子吗?有。我们可以关注组间比较。我们不需要假设标准等于;我们只需要假定的标准和感兴趣的刺激并不是系统相关。这意味着,平均而言,每个组的标准将是相同的。我们可以表达感兴趣的刺激的感知强度相对于标准。这给了我们整个团体有效的比较。

级匹配。我们已经能够使用感官标准的历史可以追溯到1960年代,很可能更老了。这是形式化方法的“匹配”级的标志和史蒂文斯(Marks &史蒂文斯,1980;史蒂文斯&标志,1980;标志等,1988)。目前我们使用这个方法来研究遗传变异的味道。自1930年代以来我们已经知道一些人不能品尝道具(6 -n丙基硫氧嘧啶),而其他人认为它是苦的。最近,我们发现,品酒师可以分为中、超级味觉者根据苦道具的味道。这是有关舌头解剖学。超级味觉者最菌状的乳头状突起(结构房子味蕾);苦味基因有最少的。

我们研究这个基因变异通过询问受试者对品味和音调的强度在一个常见的规模。通过假设听的能力是与味道的能力我们可以表达强度相对于音调的滋味;这让我们比较平均品位味盲强度,中品酒师和超级味觉者的道具。

超级味觉者感知最强烈的味道。他们也认为最激烈口腔燃烧(辣椒)和口腔接触(食物中脂肪),因为菌状的乳头状突起控制疼痛和触觉以及味觉纤维(见巴托斯萨克,2000和Prutkin et al ., 2000味盲评论我们的工作,中品酒师和超级味觉者)。不用说,这三组生活在非常不同的世界。

强度标签。另一种方法使受试者/组间比较更广泛使用上面的方法。这种方法使用强度标签(“这味道我很强;你很强大吗?”)。有许多不同种类的标签尺度(如李克特、类别、视觉模拟)的属性。最古老的类别,尽我所知,可以追溯到古希腊天文学家希帕克斯(公元前190年-公元前120年)分类恒星亮度分为六类。最常见的一种现代类型的视觉模拟量表(血管)。虽然这要追溯到更远,但它在1960年代开始广泛使用(例如,艾特肯,费雷,& Gedye, 1963),很快就被广泛应用于测量(艾特肯,1969),感觉疼痛(Huskisson, 1974),食欲的感觉像饥饿(银石赛道& Stunkard, 1968),等等。它通常被描述为一条线标记在其以“最小和最大额定值”为特定的经验(海瑟林顿和卷,1987)。脉管熟悉病人的一种形式是一条直线,从“没有痛苦”延伸到“你坏的痛苦经历过”在医院常用的。

各种尺度上标有强度描述符通常被设计来做主题内比较或对比组的成员组随机分配。因此我们可以用疼痛量表观察疼痛药物治疗后的变化在一个给定的病人或我们可以比较两种药物的疗效,如果我们随机分配病人药物治疗组。这是适当的类型的使用尺度Norwick,崔和Ben-Shachar指出在他们的信。但当调查人员决定提问,要求跨组比较?假设我们想要比较感知疼痛强度在女性和男性。假设对象都承担女性儿童和男性受试者有幸运的逃过生活的糟糕状况(肾结石等)。我们真的相信“你坏的痛苦经历过”是一样的,平均而言,两组?当然不是。这是问题的症结所在。

强度形容词(弱,温和,强壮,等等)和修改它们的副词(非常、非常等)不表示绝对强度,直到他们被应用到一个域(即。他们修饰的名词,提供)。s·史蒂文斯这个点了一个美妙的评论超过四十年前(1958年Stevens):“老鼠可能被称为大或小,所以可能大象,这是可以理解当有人说这是一个大老鼠,小象的树干。“我们现在知道了很多关于形容词/副词强度描述符的特性,但仍有很多东西要学。我建议我认为这是要到哪里去。认为规模贴上强度描述符(例如,弱,温和,强,很强)印在有弹性的。想象的规模可以拉伸或压缩到适合任何给定的域。描述符将常数的相对间距但领域的绝对规模将有所不同。例如,想想玫瑰的气味和偏头痛的痛苦。我们可以闻到弱或强玫瑰气味。我们也可以体验一种弱或强偏头痛。但很明显,“软弱”和“强”表示不同的绝对强度取决于我们说到玫瑰或偏头痛。

现在同样的推理应用于不同的人经历一个给定域以非常不同的方式:例如,苦味基因、中品酒师和超级味觉者。的绝对强度尺度描述符将取决于个人的经验(如上建议在痛苦的例子)。平均而言,一个“很强”的味道supertaster将是一个更强烈的感觉苦味基因“很强”的味道。测试这是让试验对象,品味,品味强度描述符和音调常见的强度范围。不足为奇的是,超级味觉者匹配的一个“强烈”的味道更响亮的声音比苦味基因。

图1说明了使用标记强度尺度的后果的时候,能超越团队比较描述符不表示相同的绝对强度,平均而言,所有组。


点击图片查看大图。(13.25 KB)
图1所示。左边显示了实际差异品尝世界各地的苦味基因(nt),介质品酒师(MTs)和超级味觉者(STs)的道具。右侧说明假设错误的后果,所有三组生活在相同的品味世界(巴托斯萨克et al ., 2002年出版社)。

功能标记通过E是反映不同大小的道具效果。例如,函数反映了这样一个非常大的效应产生的奎宁(苦味),功能B虽然D反映较小影响像的蔗糖或生理盐水(Ko et al ., 2000)。函数E反映了一种感觉,不是与道具(如口服燃烧non-tongue位置;见(卡勒et al ., 1992)。右边的图1显示了发生在错误的假设“很强”表示相同的绝对强度。最大的影响(A和B),假设“很强”是相同的所有减少支撑效应的大小。然而,对于C,道具的效果是完全丢失。现在注意,D和E错误似乎表明,苦味基因实际上比介质和超级味觉者感觉更强烈:工件逆转。

我们已经确定了一些实例,丢失或逆转工件的影响似乎发生在支撑研究(巴托斯萨克et al ., 2002年出版)。有多普遍的无效使用标记扩展到组间比较?这很难评估没有仔细研究的几个期刊。bd体育在线app下载安卓迄今为止在我筛选的几本杂志的研究(超过800),25%的论文包括人类心理物理扩展了超越团队比较组的作业不是随机的。其中一些比较研究只关注小点;然而,在少数情况下论文的主要观点。

其他psychophysicists担心这个问题。巴特尔和卢斯(1983)有争议的一些经济学家相信“效用”intercomparability值的大小可以在个体进行比较。Biernat和酱油(1994)指出,“很高”表示一个不同的高度,当应用到比当应用到一个男人一个女人。伯恩鲍姆(1999)解决可能发生的荒谬的结果比较时跨组织使用不同的上下文中来做出判断。伯恩鲍姆问不同群体的大小来判断数字9和221在10分制从“非常小”“非常非常大。”,因为不同的环境带来了两个数字,平均规模值9和221分别为5.13和3.10,分别导致明显的结论:9 > 221。

频率与概率描述符。频率与概率描述符也可以反映出不同大小的主题/组(例如,(Hakel, 1968;香港,巴内特,Mosteller & Youtz, 1986;地图,1979;辛普森,1944;Wallsten & Budescu, 1995;Wallsten Budescu,拉波波特,茨威格&福塞斯,1986)。电影《安妮·霍尔》(1977)的Allen & Brickman永生化这当Alvy(伍迪•艾伦)和安妮(戴安·基顿)分屏访问与各自的精神病医生描述他们做爱的频率:Alvy说“很少,”安妮说,“不断”,然后添加,“三次一个星期。”

我们能做些什么呢?关键有效的超越团队比较感兴趣的是表达感觉相对于标准(感官或形容词/副词强度描述符)在一个不相关的领域。请注意,这只是鳞片像血管不能做什么。规模时标记的感觉来衡量(例如,“没有”“坏的痛苦经历”),它不应该被用来制造超越团队组织不同部分时比较系统的方式(例如:性别、年龄、临床状态,味道解剖学,等等)。

我们正在探索各种与标记方法来纠正这个问题。例如,我们已经尝试标记范围内锚定在顶部“最强的任何形式的感觉。“这味道规模适合遗传变异;苦味基因之间的差异,中品酒师和超级味觉者是相似的我们是否使用这个规模大小匹配良好标准(巴托斯萨克,绿色et al ., 2000)。我们最近已开始探索使用经验最常见口味研究锚:太阳的亮度(快速et al ., 2001)。

Norwick,崔和Ben-Shachar指出,的一种方式我们可以检查比例是检查的有效性的结论与其他技术。舌头解剖学和感知味道强度之间的联系提供了一种方法在品味。我们可以问受试者对道具的苦难与多种尺度和关联密度的感知痛苦菌状的乳头状突起(房子的味蕾的结构)。提供有效的苦味基因间的对比图,如果规模中等的口味和超级味觉者,它将显示本协会(Prutkin et al ., 2000)。有很多没有做的事情。我们需要检测并纠正任何错误,已经进入科学文献。我们还需要寻找更多的方法来提高跨组比较的有效性。我们欢迎Norwick,崔和Ben-Shachar该企业。

1最近的工作的我的学生,和我的同事们一直在做的在这一领域有抽象(巴托斯萨克、快速et al ., 2000;巴托斯萨克,达菲,快速、绿色、& Prutkin 2001;巴托斯萨克,达菲,快速、绿色、&斯奈德,2001;快,绿色,斯奈德,&巴托斯萨克,2001;斯奈德,达菲,快,霍夫曼et al ., 2001;斯奈德,达菲,快,维芬巴赫,&巴托斯萨克,2001),但完整的论文仍在媒体(巴托斯萨克、达菲、快速、绿色、&斯奈德,2002年,在出版社;快,达菲,&巴托斯萨克2002年出版社)。然而,一个媒体提出了论文的会议和讲座在web上可用(www.calliscope.com/达能/ frameset.html ? 1)。顺便说一句,在会议上的演讲(巴托斯萨克、1999、2000)和由此产生的新闻报道(木匠,2000;古德,2001)帮助我们找到人遇到同样的问题在他们的田地。我简要地注意他们的贡献为逢。我怀疑还有更多的工作我还不知道。我希望他们会跟你取得联系。

引用
艾特肯,R C B (1969)。使用视觉模拟量表测量的感觉。《皇家学会学报,62,989 - 993。
艾特肯,R C B,费雷,H M & Gedye J L (1963)。从闪光灯干扰。航空航天医学,34岁,302 - 306。
艾伦,W & Brickman m (1977)。安妮·霍尔(w·艾伦导演)。
巴托斯萨克,L M (2000)。心理物理发展援助研究遗传变异的味道。食欲,34岁,105年。
巴托斯萨克,L M (1999)。总统研讨会(生物学、社会部分:饮食习惯如何学习)。“听病人:自然的实验可以告诉我们什么味道。“论文发表在美国心理协会
12年度大会上,迈阿密,FL。
巴托斯萨克,L M (2000)。尼尔·米勒杰出讲座。“你听我听吗?还是味道?“论文发表在美国心理协会的第108届年度大会上,华盛顿特区
巴托斯萨克,L M,达菲,V B,快,K,绿色,B G & Prutkin J M (2001)。无效的感觉比较跨组:从支撑研究实例。化学感官,26岁,761 - 762。
巴托斯萨克,L M,达菲,V B,快,K,绿色,B G &斯奈德D J (2001)。一般标签大小规模提供了有效的措施在味道和遗传变异可能是一个普遍的心理物理统治者。食欲,37岁,126年。
巴托斯萨克,L M,达菲,V B,快,K,绿色,B G &斯奈德D J(2002年出版)。激素、年龄、基因和病理学:我们如何评估变化的感觉和喜好?食物选择,从基因到文化。法国巴黎:达能
研究所。
巴托斯萨克,L M,快,K,达菲,V B, Prutkin, J M,斯奈德,D J &绿B G (2000)。级匹配和改进的LMS产生有效支撑研究感觉比较。食欲,277。
巴托斯萨克,L M、绿色、B G,斯奈德,D J, Lucchina, L,霍夫曼,H J,维芬巴赫,J M & Ko C W (2000)。有效超越团队比较:超级味觉者感知最强烈的味觉的大小匹配
或者是LMS规模。化学感觉,25岁,639年。
Biernat, M &酱油,M (1994)。将标准和持续的判断。人格与社会心理学》杂志上的66年,5 - 20。
伯恩鲍姆,M H (1999)。如何显示9 > 221:收集判断主题之间的设计。心理方法,243 - 249。
木匠,年代(2000)。嗅探出味道专家长期测量监督。在心理学,31日监控,20日至21日。
快,K,达菲,V B &巴托斯萨克L M(2002年出版社)。新的心理物理见解在评估遗传变异的味道。在C Rouby & B Schaal维斯R & D Dubois & &华立(Eds)等,嗅觉,味觉和认知。
快,K,绿色,B G,斯奈德,L D J &巴托斯萨克米(2001)。记得强度和口服燃烧与道具苦涩的味道。1069年化学感官,26日。
古德,E(2001年1月2日,2001)。研究人员大量心理学研究的挑战。《纽约时报》,页F1, F7。
Hakel, M D (1968)。通常是多长时间?美国心理学家,23岁,533 - 534。
海瑟林顿,M M &卷,B J (1987)。人类饮食行为调查的方法。F M Toates & n e·罗兰(Eds),喂养,喝(页77 - 109)。纽约:爱思唯尔科学出版社(生物医学部门)。
Huskisson E C (1974)。测量疼痛。柳叶刀》,1127 - 1131。
卡勒,T,巴托斯萨克,L M,康纳,E, Fehrenbaker,年代,Grubin, D, D &雪(1992)。
支柱地位和关系的感知燃烧强度辣椒素在不同的位点。649年化学感官,17日。
Ko, C W,霍夫曼,H J, Lucchina, L,斯奈德,D J,维芬巴赫,J M, L &巴托斯萨克米(2000)。微分感知强度的四种基本味觉品质支持超级味觉者与苦味基因。25岁的化学感觉
639 - 640。
香港,一个,巴内特,G O, Mosteller, F, & Youtz C (1986)。医务人员如何评价概率表达式。315年新英格兰医学杂志》,740 - 744。
地图,R E (1979)。口头和数值估计概率的治疗环境。社会科学与医学,13,277 - 282。
标志、L E &史蒂文斯,J C (1980)。测量的感觉。在L W Poon(主编),衰老在1980年代:心理问题(页592 - 598)。华盛顿:美国心理协会。
标志,L E,史蒂文斯,J C,巴托斯萨克,L M,绅士,J G,里夫金,B &石头,V K (1988)。
级匹配:味觉和嗅觉的测量。化学感官,13,63 - 87。
巴特尔,L, &卢斯,R D (1983)。我们怎么可能被误导了,相信人与人之间的可比性的效用。理论和决策,247 - 260。
Prutkin J达菲,V B,埃特尔,L,快,K,加德纳,E, Lucchina, L,斯奈德,D J,领带,K,维芬巴赫,J &巴托斯萨克L M (2000)。遗传变异和推断认为味道强度在小鼠和人。生理和行为,69年,
161 - 173。
银石赛道T…Stunkard, J (1968)。硫酸右旋安非他明的厌食的效果。英国j .杂志。Chemother。,33岁,513 - 522。
辛普森,R H (1944)。某些条款的具体含义表示不同程度的频率。季刊》的演讲中,30岁,328 - 330。
斯奈德,D J,达菲,V B,快,K,霍夫曼,H J, Ko, C W,维芬巴赫,J M, L &巴托斯萨克米(2001)。食物偏好随年龄和性别:新的分析使用通用标签大小规模。1050年化学感官,26日。
斯奈德,D J,达菲,V B,快,K,维芬巴赫,J M, L &巴托斯萨克米(2001)。道具
遗传学与年龄和性别影响食物偏好。食欲,37岁,164年。
史蒂文斯,J C &标志,L E (1980)。交叉模式匹配函数生成的大小估计。知觉和心理物理学,27岁,379 - 389。
史蒂文斯,年代年代(1958)。适应水平对判断的相对性。美国心理学期刊》,633 - 646。
Wallsten T S & Budescu d v (1995)。回顾人类语言概率处理:一般原则和经验证据。知识工程审查10 43 - 62。
Wallsten T S Budescu D V,拉波波特,A,茨威格,R, B &福赛斯(1986)。测量概率的模糊含义的话。实验心理学杂志》:一般情况下,115年,348 - 365。


APS定期打开特定的在线文章讨论在我们的网站上。有效的2021年2月,你必须登录APS成员发表评论。通过发布评论,你同意我们社区指导原则和显示您的个人信息,包括你的名字和联系。任何意见、发现、结论或建议在文章评论的作家和不一定反映APS的观点或文章的作者。有关更多信息,请参阅我们的社区指导原则

请登录你的APS账户置评。