五、前向算法(Forward Algorithm)

前向算法定义(Forward algorithm definition)

  我们使用前向算法计算T长观察序列的概率:
     5.2_1
  其中y的每一个是观察集合之一。局部(中间)概率(alpha's)是递归计算的,首先通过计算t=1时刻所有状态的局部概率alpha
     5.2_2
  然后在每个时间点,t=2,... ,T时,对于每个状态的局部概率,由下式计算局部概率alpha:
     5.2_3
  也就是当前状态相应的观察概率与所有到达该状态的路径概率之积,其递归地利用了上一个时间点已经计算好的一些值。
  最后,给定HMM,lamda,观察序列的概率等于T时刻所有局部概率之和:
     5.2_4
  再重复说明一下,每一个局部概率(t > 2 时)都由前一时刻的结果计算得出。
  对于“天气”那个例子,下面的图表显示了t = 2为状态为多云时局部概率alpha的计算过程。这是相应的观察概率b与前一时刻的局部概率与状态转移概率a相乘后的总和再求积的结果:
   example.forward
(注:本图及维特比算法4中的相似图存在问题,具体请见文后评论,非常感谢读者YaseenTA的指正)

总结(Summary)

  我们使用前向算法来计算给定隐马尔科夫模型(HMM)后的一个观察序列的概率。它在计算中利用递归避免对网格所有路径进行穷举计算。
  给定这种算法,可以直接用来确定对于已知的一个观察序列,在一些隐马尔科夫模型(HMMs)中哪一个HMM最好的描述了它——先用前向算法评估每一个(HMM),再选取其中概率最高的一个。

未完待续:前向算法4

本文翻译自:http://www.comp.leeds.ac.uk/roger/HiddenMarkovModels/html_dev/main.html
部分翻译参考:隐马尔科夫模型HMM自学

转载请注明出处“我爱自然语言处理”:www.52nlp.cn

本文链接地址:https://www.52nlp.cn/hmm-learn-best-practices-five-forward-algorithm-3

作者 52nlp

《HMM学习最佳范例五:前向算法3》有22条评论
  1. 这个图里面
    https://www.52nlp.cn/images/example.forward.gif (原文里面的图)
    t=1,Rainy状态那一部分有错误吧?
    应该是
    α1( r )= πr *brw
    就是括号里面(r)还有cw应该是rw

    [回复]

    52nlp 回复:

    不好意思,这两天出游晚上刚回来。
    应该是你所写的这个公式,我摘录的原文公式,没有仔细看,谢谢。

    [回复]

    YaseenTA 回复:

    还有一个地方 Cloudy 应该是α1( c )= 而不是 α1( r )=
    同样这些错误也在https://www.52nlp.cn/images/example.viterbi.gif

    [回复]

    52nlp 回复:

    非常感谢,已在相关图下做了注明!

  2. 您好,我想问一下,计算t+1时刻的局部概率时,最后的混淆矩阵为什么是bjkt,我觉得应该是bjkt+1吧?呵呵,谢谢了

    [回复]

    52nlp 回复:

    谢谢指正,这个应该是bjkt+1,抱歉,摘录原图时没注意,关于HMM,建议看一下论文:Lawrence R. Rabiner (February 1989). "A tutorial on Hidden Markov Models and selected applications in speech recognition",这个比较经典。

    [回复]

  3. “最后,给定HMM,,观察序列的概率等于T时刻所有局部概率之和:”后面那个式子我没看明白, 这样看起来最后计算的结果和观察序列一点关系都没有啊...

    [回复]

    夕阳武士 回复:

    我一开始和你疑问一样,仔细一想和观察序列还是有关系的,因为在T之前每一时刻都使用了混淆矩阵计算,而选择混淆矩阵中具体的值的选择就是根据观察序列选择的,希望能帮到你!

    [回复]

    NJU_NLP 回复:

    我注意到了,谢谢~

    [回复]

  4. 第三个公式,计算阿尔法(t+1)j公式里面右边最后一项bjki是否应该是bjkj?
    另外关于NJU_NLP的问题不知道自己理解的对不对:是否可以用神经网络的方式理解?

    [回复]

    minenki 回复:

    我觉得那个地方b下标应该是jk_{t+1}, 上一部分里的公式还有+1,这一部分这个公式就没+1了

    [回复]

    minenki 回复:

    刚看到,博主已经给出解释了,看楼上candy_636 那里

    [回复]

    52nlp 回复:

    o(∩_∩)o

    [回复]

  5. 能否说明一下T长观察序列的数学符号Y(k),这个k是什么意思?k还可以有下标1~T,然后混淆矩阵b也带有k和它的下标,这是说在不同时刻t有不同的混淆矩阵吗?

    [回复]

  6. t=2时刻的隐藏状态的概率和t=1时刻的观察的序列这个要算概率吗?
    如果要算是需要根据贝叶斯来算吧。

    [回复]

  7. 然后在每个时间点,t=2,... ,T时,对于每个状态的局部概率,由下式计算局部概率alpha:下面的公式有点问题吧?最后的 b j kt,应该是b j k t+1 吧?谢谢

    [回复]

  8. 推导了半夜这个公式,越推导越糊涂
    认为文章里有些概念混乱了 ,隐藏状态的局部概率和
    隐藏状态的局部概率的计算和观察状态的局部概率并没有关系,
    o1o2o3...on观察序列的概率,应该是P(o1)*P(o2)*...*P(on)。。。
    我有点糊涂了。。。

    [回复]

    52nlp 回复:

    找本经典书去读吧,这个系列翻译于10年前,原文链接现在已经无法访问,看看有没有机会重新review一下。

    [回复]

    李怀仁 回复:

    谢谢 ,昨天推导了半夜,理解了你们的思路,我用的是另外一种思路。英文原版的不太好找。此外,向您致上谢意,五年前保研时,第一次看见这篇文章,打开了我的眼界。让我发现计算机更宽广的世界

    [回复]

    52nlp 回复:

    谢谢

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注