标签归档:Peter Norvig

Beautiful Data-统计语言模型的应用三:分词8

  对于一个包含n个字符的单词来说,利用语言模型进行分词的前提是首先枚举出所有的 … 继续阅读

发表在 中文分词, 语言模型 | 标签为 , , , , , , , , , | 2条评论

Beautiful Data-统计语言模型的应用三:分词7

  走到这一步,我们利用Google的一元语言模型进行分词的程序基本上已经完成了 … 继续阅读

发表在 中文分词, 语言模型 | 标签为 , , , , , , , | 4条评论

Beautiful Data-统计语言模型的应用三:分词6

  说完了Python中的__call__函数,我们继续来完善segment.p … 继续阅读

发表在 中文分词, 语言模型 | 标签为 , , , , , , , , , | 4条评论

Beautiful Data-统计语言模型的应用三:分词5

  上一节我们已经解读了Pdist类中的__init__函数,这一节重点关注一下 … 继续阅读

发表在 中文分词, 语言模型 | 标签为 , , , , , , , , , | 一条评论

Beautiful Data-统计语言模型的应用三:分词4

  对于Pw函数,这里稍微多做一点说。首先我们从一元语言模型的文件里读取单词及其 … 继续阅读

发表在 中文分词, 语言模型 | 标签为 , , , , , , , , | 5条评论

Beautiful Data-统计语言模型的应用三:分词3

  本节我们进入《Beautiful Data》中分词的编码阶段,完整的程序及数 … 继续阅读

发表在 中文分词, 语言模型 | 标签为 , , , , , , , , , | 留下评论

Beautiful Data-统计语言模型的应用三:分词2

  现在,我们就可以应用这个方法来进行分词了。首先定义一个函数:segment, … 继续阅读

发表在 中文分词, 语言模型 | 标签为 , , , , , , | 留下评论

Beautiful Data-统计语言模型的应用三:分词1

  本节我们开始《Beautiful Data》中的“Word Segmenta … 继续阅读

发表在 中文分词, 语言模型 | 标签为 , , , , , , | 6条评论

Beautiful Data-统计语言模型的应用二:背景

  本节我们进入《Beautiful Data》的正题,将沿着其第14章Pete … 继续阅读

发表在 语言模型 | 标签为 , , , , , , , , | 4条评论

Beautiful Data-统计语言模型的应用一:缘起

  统计语言模型大概是自然语言处理中最简洁也最漂亮的模型了,在自然语言处理中,统 … 继续阅读

发表在 自然语言处理, 语言模型 | 标签为 , , , , , , , , , , , | 2条评论