Gibbs Sampling(吉布斯采样)

from https://blog.csdn.net/wang_yi_wen/article/details/17319905

摘要:Gibbs Sampling利用条件概率产生符合分布的样本,用于估计分布的期望,边缘分布;是一种在无法精确计算情况下,用计算机模拟的方法。

  • 什么是Gibbs Sampling

Gibbs Sampling是MCMC算法中的一种,用来构造多变量概率分布的随机样本,比如构造两个或多个变量的联合分布,求积分,期望。

  • 为什么需要Gibbs Sampling

这不是废话,肯定是积分,期望或者联合分布很难计算出来,通常情况下当前面三个问题是NP问题时才需要Gibbs Sampling。不然的话,直接计算就可以了嘛,既准确又快速,干嘛还要Gibbs Sampling呢。补充一句Gibbs Sampling只是(也只能)到近似解。

  • 应用场景

a、积分,期望,样本概率很难计算出来;b、条件概率很容易计算。具体一点的例子:受限玻尔兹曼机(RBM)的训练,贝叶斯网络,LDA都用到Gibbs Sampling。

  • 为什么Gibbs Sampling有效

当Gibbs Sapling算法执行多次之后,产生的样本服从真实样本的分布,即相当于直接从联合分布中采样。

  • Gibbs Sampling 算法

二维Gibbs Sampling的马氏链转移

n维Gibbs Sampling算法

 观点:

1. We have a representation of p(x) and f(x), but integration is intractable. It turns out that if correctly sampled, only 10-20 points can be sufficient to estimate the mean and variance of a distribution. Of course, Samples must be independently drawn; Expectation may be dominated by regions of high probability, or high function values.[1]

Reference

[1] Lecture 1: Introduction – CUNY 

[2] LDA数学八卦

后记:为什么要写关于Gibbs Sampling的文章呢?首先Gibbs Sampling是有用滴,Gibbs Sampling在机器学习中主要用于学习阶段的推理,比如求期望(平均值)和积分;再者网上的关于Gibbs Sampling的博客写得不好,资料也不多。

from here http://blog.csdn.net/wang_yi_wen

分享到:更多 ()

抢沙发

评论前必须登录!