贝叶斯初学者2:前

在他的就职总统列格里斯泰尔APS总统c·兰迪,向初学者介绍贝叶斯统计分析。这个月,他继续介绍贝叶斯与一个教训在利用先验分布改善参数估计。

在上个月的专栏中,我关注的可能性和概率之间的区别。

审查,概率高度可能的结果从一个随机的过程就像掷硬币(技术上称为伯努利过程)。一个概率分布给出了不同的可能结果的概率给定的参数的过程。假设我们有50%的机会(即成功。,抛头;p= 5)和告知有10次。鉴于这些参数,准确的概率5个正面时抛一枚硬币大约为10倍。

相比之下,可能连接到我们的参数估计和假设。例如,鉴于我们发现9 10次的一枚硬币,的可能性(即抛头的概率是50%。,这p= 5)非常低。的可能性p=。9大的近40倍。似然函数告诉我们可能值的相对可能不同p。

两个组件的似然函数只有一个贝叶斯计算,然而。另一个是之前,这是必要的估计参数,得出统计结论。使用先验分布改善参数估计和量化的假设。

一个先验分布可以而且应该考虑一个已经知道的东西。然而,当人知道很少,可以使用先知先觉的杰弗里斯杰弗里斯,英国数学家命名哈罗德爵士,他恢复了贝叶斯概率的观点。先知先觉的杰弗里斯是一些最有趣的和有用的先验分布,他们来自毫无了解的数学意义以外的人想要估计的参数可能的范围。

改善前的参数估计

一个先验分布概率赋值给每一个可能的值的每个参数估计。因此,当估计参数的伯努利方程的过程p之前,是一个可能的值的分布p。假设p的概率是一个主题做了x假设我们最初不知道多少人有这种实践。我们问前三个主题是否他们已经做了。他们都说,“没有。“在这个早期阶段,我们的人口比例应该估计做了X ?以及我们应该对我们的估计吗?

数据本身p(X) = 0。这个值指定了一个分布无差异;它预测每一个后续的主题还没有做x直觉认为这是不明智的三个人作为代表的经验所有人们的经验。然而,手头的数据,给我们一些信息:我们已经知道p(X)≠1(因为至少一个主题没有X),这似乎不太可能p(X) >。9(因为我们的三个主题做了X)。

贝叶斯参数估计借口,量化这些直觉将先验分布计算。先验分布代表不确定性参数的值之前,我们看到的数据。杰弗里斯意识到任何了解其可能的范围以外的一个参数(在本例中,0 - 1)经常唯一指定了一个先验分布参数的估计。

杰佛利之前的p伯努利过程的参数称为贝塔分布。贝塔分布本身有两个参数,表示a和b。杰弗里斯之前,这些值a = b = 0。5。常见的做法后,我把这些参数hyperparameters区分它们的参数分布,我们试图估计。

通过采用一个杰佛利之前,我们可以计算的最佳估计p我们当前的不确定性和量化p在数据采集的每个阶段,从阶段我们没有数据阶段,我们有一个n在数百万。贝叶斯计算需要用先验分布的似然函数和正常化的结果为了获得后验分布(即。,一个新的不同的值的概率分布p,考虑到数据和之前)。这个过程听起来很吓人。

然而,当我们使用之前的主人公,以相同的形式为后验分布的先验分布;一个β分布在之前和贝塔分布出现后。(被称为先验分布与这美好的属性共轭之前)。因此,计算是唯一改变贝塔分布的参数的值。此外,新值的计算这些参数非常简单:a_帖子=一个_之前+n_年代和b_帖子= b_之前+n_f,在那里n_年代表示成功的数量(在这种情况下,那些做了X)n_f失败的数量(受试者没有)。最好的估计p后验分布的均值,是a_帖子/ (_帖子+ b_帖子)。统计计算从来没有比这更容易。

最重要的是,由此产生的后验分布告诉我们如何确定我们应该的真正价值p。在传统的统计,这是置信区间应该做什么。(它很糟糕,但这是另一个故事。)估计的估计的置信区间p当样本低并非易事,而后使用共轭先验分布的计算,已经解释,简单本身。

图1块的似然函数,杰弗里斯之前,后验分布的情况我们没有三阴性和阳性。注意好贝叶斯统计可以捕捉我们的直觉告诉我们我们可以从这个小样本学习。