分类目录归档:隐马尔科夫模型

HMM在自然语言处理中的应用一:词性标注1

  词性标注(Part-of-Speech tagging 或 POS tagging)是指对于句子中的每个词都指派一个合适的词性,也就是要确定每个词是名词、动词、形容词或其他词性的过程,又称词类标注或者简称标注。词性标注是自然语言处理中的一项基础任务,在语音识别、信息检索及自然语言处理的许多领域都发挥着重要的作用。因此,在关于自然语言处理的书籍中,都会将词性标注单列一章重点讲解,对此有兴趣的读者可参考《自然语言处理综论》第一版第8章或《统计自然语言处理基础》第10章,本文部分内容也参考自这两本自然语言处理的经典书籍。

发表在 标注, 自然语言处理, 隐马尔科夫模型 | 标签为 , , , , , , , , | 一条评论

HMM学习最佳范例八:总结

八、总结(Summary)   通常,模式并不是单独的出现,而是作为时间序列中的一个部分——这个过程有时候可以被辅助用来对它们进行识别。在基于时间的进程中,通常都会使用一些假设——一个最常用的假设是进程的状态只依赖于前面N个状态——这样我们就有了一个N阶马尔科夫模型。最简单的例子是N = 1。

发表在 隐马尔科夫模型 | 标签为 , , , , , , , , | 46 条评论

HMM学习最佳范例七:前向-后向算法5

七、前向-后向算法(Forward-backward algorithm)   上一节我们定义了两个变量及相应的期望值,本节我们利用这两个变量及其期望值来重新估计隐马尔科夫模型(HMM)的参数pi,A及B:

发表在 隐马尔科夫模型 | 标签为 , , , , , , , , , | 20 条评论

HMM学习最佳范例七:前向-后向算法4

七、前向-后向算法(Forward-backward algorithm)   隐马尔科夫模型(HMM)的三个基本问题中,第三个HMM参数学习的问题是最难的,因为对于给定的观察序列O,没有任何一种方法可以精确地找到一组最优的隐马尔科夫模型参数(A、B、pi)使P(O|)最大。因而,学者们退而求其次,不能使P(O|)全局最优,就寻求使其局部最优(最大化)的解决方法,而前向-后向算法(又称之为Baum-Welch算法)就成了隐马尔科夫模型学习问题的一种替代(近似)解决方法。

发表在 隐马尔科夫模型 | 标签为 , , , , , , , , | 3 条评论

HMM学习最佳范例七:前向-后向算法3

七、前向-后向算法(Forward-backward algorithm)   前向-后向算法是Baum于1972年提出来的,又称之为Baum-Welch算法,虽然它是EM(Expectation-Maximization)算法的一个特例,但EM算法却是于1977年提出的。那么为什么说前向-后向算法是EM算法的一个特例呢?这里有两点需要说明一下。

发表在 隐马尔科夫模型 | 标签为 , , , , , , , , , , | 6 条评论

HMM学习最佳范例七:前向-后向算法2

七、前向-后向算法(Forward-backward algorithm)   要理解前向-后向算法,首先需要了解两个算法:后向算法和EM算法。后向算法是必须的,因为前向-后向算法就是利用了前向算法与后向算法中的变量因子,其得名也因于此;而EM算法不是必须的,不过由于前向-后向算法是EM算法的一个特例,因此了解一下EM算法也是有好处的,说实话,对于EM算法,我也是云里雾里的。好了,废话少说,我们先谈谈后向算法。

发表在 隐马尔科夫模型 | 标签为 , , , , , , , | 2 条评论

HMM学习最佳范例七:前向-后向算法1

七、前向-后向算法(Forward-backward algorithm) 根据观察序列生成隐马尔科夫模型(Generating a HMM from a sequence of obersvations)

发表在 隐马尔科夫模型 | 标签为 , , , , , , , , , | 2 条评论

HMM学习最佳范例六:维特比算法5

六、维特比算法(Viterbi Algorithm) 维特比算法程序示例

发表在 隐马尔科夫模型 | 标签为 , , , , , , , , | 8 条评论

HMM学习最佳范例六:维特比算法4

六、维特比算法(Viterbi Algorithm) 维特比算法定义(Viterbi algorithm definition)

发表在 隐马尔科夫模型 | 标签为 , , , , , , , | 13 条评论

HMM学习最佳范例六:维特比算法3

六、维特比算法(Viterbi Algorithm) 寻找最可能的隐藏状态序列(Finding most probable sequence of hidden states)

发表在 隐马尔科夫模型 | 标签为 , , , , , , , | 4 条评论