总统列
为初学者:贝叶斯概率和可能性
几年前,在我的实验室博士后试图发布一系列的实验结果,令他吃惊的是,理论上支持重要但非常违反直觉的零假设。他从评审人员得到了强大的阻力。他们说,他都是微不足道的结果不能被用来支持他的零假设。我知道贝叶斯方法可以提供支持零假设,所以我开始观察他们。我最终在统计教学Bayesian-oriented研究生课程,现在使用贝叶斯方法在分析自己的数据。
当我回顾制定的统计推断问题我学会了和使用多年,我惊讶,我认为没有问题:测试我们的假设,我们测试不同的假设——零假设。如果失败了,我们得出结论,我们的假设是正确的——没有测试它对数据和不制定正确的测试(即我们制定的假设。零)。此外,我们了解一个先天,零假设不能被接受;最好的能做的就是不被拒绝。(“你不能证明零。”)这些荒谬的实现使我成为一个贝叶斯。
有一种感觉这些天,贝叶斯数据分析是一个未来的事情,所以同事经常咨询我。在这些磋商,我被误解有多少关于基础知识。在寻找的东西写的一般利益,我定居在呈现贝叶斯数据分析的基础知识我希望是一个可访问的形式。
区分的可能性和概率
概率和之间的区别可能是至关重要的问题:概率高度可能的结果;高度可能性假设。解释这一区别是第一列的目的。
可能的结果是互斥和详尽。假设我们问一个主题来预测每个10次抛硬币的结果。只有11个可能结果(0到10正确的预测)。实际结果将永远是一个且只有一个可能的结果。因此,附着在可能结果的概率总和必须为1。
假设,不同的结果,既不相互排斥也不详尽。假设我们测试的第一主题预测7 10的结果正确。我可能会假设这个话题就猜到了,你可能会假设可能有点透视的,你的意思是这个话题可能会正确地预测结果略大于机会率从长远来看。这些都是不同的假设,但他们并不是相互排斥的,因为你对冲当你说:“可能是。“你从而允许你的假设,包括我的。在技术术语,我的假设是嵌套在你的。别人可能会假设的主题强烈透视和观测结果低估了她的下一个预测的概率会是正确的。另一个人完全可以假设别的。是没有限制的假设可以娱乐。
假设的集合,我们将可能受限于我们梦想的能力。在实践中,我们很少能相信我们想象所有可能的假设。我们关心的是实验结果在多大程度上影响估计的相对可能性假设我们目前和其他娱乐。因为我们一般不接受替代假说和的全套,因为有些是嵌套在别人,可能,我们附上我们的假设本身没有任何意义;只有相对的可能——也就是说,两种可能——有意义的比率。
图1所示。二项式概率分布函数,给出10尝试p= 5(上面板)和二项式概率函数,给出7成功10(下半部分)。板都是计算使用binopdf函数。在上面板,我各种可能的结果;在较低的,我不同的值p参数。概率分布函数是离散的,因为只有11可能实验结果(因此,酒吧里的情节)。相比之下,似然函数是连续的,因为概率参数p可以承担任何的无限值在0和1之间。概率在情节和为1,而连续的似然函数的积分在底部面板远小于1;即可能不总和为1。
使用相同的函数“转发”和“向后”
概率和可能性之间的区别变得清晰时使用通用编程语言的概率分布函数。在目前的情况下,我们想要的函数是二项分布函数。它被称为BINOM.DIST在最常见的电子表格软件binopdf我使用的语言。它有三个输入参数:成功的数量,数量的尝试,成功的概率。
当一个人用它来计算概率,一个假设后者两个参数(数量的尝试和成功的概率)鉴于。它们的参数分布。第一个参数变化(成功)的不同可能的数字为了找到附加到这些不同的可能结果的概率(前面板的图1)。无论给定的参数值,的概率总是之和为1。
相比之下,在计算似然函数,一个是鉴于成功的数量(在我们的例子中7日),(10)。换句话说,给定的结果现在作为函数的参数使用。各种可能的结果,而不是一个成功的概率变化(第三个参数,第一个参数)为了获得二项概率函数(图1)底板。一个是向后运行功能,可以这么说,这就是为什么有时被称为可能性反向概率。
二项式似然函数表达的信息是非常直观。它说,鉴于我们发现7 10尝试成功,二项分布的概率参数,我们画(从这个话题成功预测的分布)不太可能是0.1;这是更可能是0.7,但值为0.5时绝不是不可能的。可能性的比值p= 7,10,的可能性p= 5点,只有2.28。换句话说,考虑到这些实验结果(7成功10试),假设这个主题的长期成功率是0.7只是一个两倍多的假设问题的长期成功率是0.5。
总之,似然函数是一个贝叶斯的基本。理解的可能性,你必须清楚概率和可能性之间的差异:
概率附加到结果;可能附着在假设。在数据分析中,通常“假说”一个可能值或范围可能的值的均值分布,在我们的例子中。
概率的结果高度是互斥的,彻底的;可能附加的假设通常都没有;一个假设的范围可能包括在另一个点,在我们的例子中。
决定哪两个假设更有可能给出一个实验结果,我们认为他们可能的比率。这个比例相对似然比,被称为“贝叶斯因子。“
评论
我认为这是一个很好的介绍。我们可以有更多的,好吗?
戴夫·豪厄尔
这是非常清晰和照明。我期待读更多!
我恐怕这个专栏让几个骗赔。
一个声称是概率的结果将是相互排斥而可能附加的假设往往既不。我没有看到做这种区分的依据。很常见的一个考虑概率的结果,并不是相互排斥的(例如,获得至少5抛硬币的结果正确与得到至少6投硬币的结果正确的)。
另一令人困惑更加严重。称,“鉴于我们发现7 10尝试成功,二项分布的概率参数,我们画(从这个话题成功预测的分布)是不太可能0.1”。这种说法被称为“转置条件的谬误”。似然函数告诉我们的是,我们不可能获得的结果7成功10当底层参数是0.1。它*不*告诉我们,很可能为底层参数为0.1 7成功10尝试的结果。(事实上,如果之前获得这个结果我们固定参数的值0.1,我们确实可以相信参数值0.1,在这种情况下,这是不可能的!)之间的区别这所谓的“后验概率和似然函数位于贝叶斯统计的核心。
这是一个优秀的。我们可以了解更多吗?
至于第一季埃里克森的反对意见:概率分布的基本性质是它总和或整合为1。这是一个直接后果的事实支持概率分布(可能性的集合,它定义了概率)是相互排斥和详尽。在我努力可以,如果未能足够清楚,我指的是一个概率分布的概率,而不是概率积分获得的在不同部分的分布,这是首选的概率与反例。
至于第二个反对:我坚持我所说的;的似然函数给出了相对可能不同的值的参数(s)分布的数据被认为,考虑到这些数据。,7的成功,似然函数告诉我们,p = 0.1相对不太可能。先验知识的实际价值会改变后可能是,当然,没有问题。如果我们有固定的p的值为0.1,那么之前的几率(NB,而不是先验分布)赞成这个值是无限的,在这种情况下,当然,数据是无关紧要的。没有数据可以产生一个贝叶斯因子补偿无限的先验概率。
谢谢你的帮助。我还是有用的,容易理解的文章。毫无疑问,先验概率是多少?Dos引用的可能性吗?
谢谢你把这篇文章解释得很清楚。
这个给了我一个伟大的理解相比,这两项我读的每一其他来源。
我请求你写更多关于这样的话题。
的概率,为什么尝试的数量需要知道吗?在查找的概率,我通常使用在任何分布,X数量的事件(成功)的发生对于任何给定的意思是这些是必需的。
我参加了一个APS研讨会上使用JASP贝叶斯统计软件。这是最激动人心的进展统计在我的有生之年。理论有点反直觉的如果你几十年来一直在零假设测试。然而,车间和youtube视频上使用贝叶斯JASP使它容易。
非常明确的教程。我希望找到更多。
我想学习贝叶斯统计,给出的定义可能不同于我看过这个词如何使用。
基本方程可以写:P (X | Y) = P (Y | X) * P (X) / P (Y), X和Y是数据的参数。方程是描述为:后= *前/证据的可能性。
的可能性,P (Y | X)的概率是结果对于一个给定的值的参数。它是你标签概率。后你和之前的条款描述成为可能。
再保险:“可能性,P (Y | X)结果为给定值的概率的参数。它是你标签概率。”
一个问题可能存在于指“P (Y | X)”“可能性”。“P (Y | X)”通常被称为一个条件概率,而不是一个“可能”。(注意使用字母“P”而不是“L”)。P (Y | X)通常被描述为“Y”发生的概率事件,鉴于事件“X”实际上已经观察到。
可能不是一个概率分布,除非规范化不可能总结为1。不可能和条件概率。
这个描述的可能性相对测量两个假设之间帮助我(也许)初步掌握后,正在尝试通过半打其他维基,statsexchange, mathoverflow, quora等以及一些大学文本。
哇,这篇文章是水晶清楚的可能性和概率之间的区别。很有帮助!
谢谢你的帖子!适合那些没有背景的统计数据。
——我想使用
P (H | E) = P (E | H) (H) / (P (E | H) P (H) + P (E | ~ H) P H) (~)。我已经叫P (E | H)的可能性E H .告诉我,我不是正确使用术语(可能性)。我应该叫它什么?
本文帮助结晶一个新生的想法已经在我脑海中形成,但我无法表达。概率是一组有限的可能的结果,给出一个概率。可能性是无限的可能的概率,得到一个结果。谢谢你帮助我得到这个。
在普通英语,没有不同。Meriam-Webster定义每个其他。是否存在差异是一个经验的问题:
“决定哪些词包括在字典和确定它们是什么意思,韦氏编辑研究语言的使用。他们仔细监视哪些词使用最常和他们如何使用它们。”https://www.merriam-webster.com/help/faq-words-into-dictionary
英语为母语的人使用术语可以互换吗?他们似乎认识的区别吗?等等。鉴于Meriam-Webster定义每个其他,我猜Meriam-Webster监测显示绝大多数人这两个词可以互换使用。
你(或学科)定义是不同的,至少在某种程度上,通过一系列的推论,他们得出的结论是截然不同的:
“概率高度可能的结果;高度可能性假设。”和“可能的结果是互斥和详尽。”和“假设,不同的结果,既不相互排斥也不详尽的”因此:可能性和概率是不同的。
你是对的,区别是基础,但不是在任何有趣的方式(这基本上是一个分析/空洞的真理)。的区别是至关重要的,它是一个隐藏的假设在你的第一个前提。换句话说,你的论点是圆形的。
这未必是一件坏事。我理解普通语言的话可以帮助人们概念化科学和数学的概念。但是科学/数学和普通语言是不同的语言。“可能性”用在你的文章是不同的词比普通的英文版本。
而旨在帮助概念化科学/数学概念,科学的采用普通英语术语常常会导致混乱,并最终毫无意义的争论,人们过去彼此交谈。这是一个我们都落入陷阱。
物理学会了这一课,因此“胶子”、“夸克”,等等。
由于Karey Lakin指出的是多么极其混乱的自然语言。
显然,我们需要一些方法来区分一个给定的概率结果(说,法官将有利于原告的裁决驳回诉讼)和一个给定的概率假设法官将规则是正确的概率(说,法官将规则原告因为原告贿赂法官)。如果这不是你的区别,然后我没有理解正确的区别。说标准英语的人,这将是一个更好的方法来把它因为Karey指出“概率”和“可能性”的意思是一样的。使用它们与不同的不同的含义需要大家忘却和重新学习,导致大脑对抗新的意义每次使用这个词,设置一种认知失调。
我不认为测试零是所有是指“荒谬”,我也很同意这句话“你不能证明零”。这就是为什么人们滋养一个二进制推理环境。毕竟pvalues概率模型,你猜如果情节pvalue函数,您将看到什么参数值更得到数据的支持。
APS定期打开特定的在线文章讨论在我们的网站上。有效的2021年2月,你必须登录APS成员发表评论。通过发布评论,你同意我们社区指导原则和显示您的个人信息,包括你的名字和联系。任何意见、发现、结论或建议在文章评论的作家和不一定反映APS的观点或文章的作者。有关更多信息,请参阅我们的社区指导原则。
请登录你的APS账户置评。