标签归档:分词

自然语言处理工具包spaCy介绍

spaCy 是一个Python自然语言处理工具包,诞生于2014年年中,号称“I … 继续阅读

发表在 自然语言处理 | 标签为 , , , , , , , , , , , , , , , , , , , , , , , , , , , | 自然语言处理工具包spaCy介绍已关闭评论

中文分词入门之字标注法4

上一节主要介绍的是利用最大熵工具包来做字标注中文分词,这一节我们直奔主题,借用条 … 继续阅读

发表在 中文分词, 条件随机场 | 标签为 , , , , , , , , , , , , , , , , , , | 41条评论

初学者报到: 实现了一个最大匹配的分词算法

看了一段时间了的自然语言,不过还是很初级。 今天下载了一个分词的字典,自己用py … 继续阅读

发表在 中文分词 | 标签为 , , | 12条评论

Beautiful Data-统计语言模型的应用三:分词8

  对于一个包含n个字符的单词来说,利用语言模型进行分词的前提是首先枚举出所有的 … 继续阅读

发表在 中文分词, 语言模型 | 标签为 , , , , , , , , , | 2条评论

Beautiful Data-统计语言模型的应用三:分词7

  走到这一步,我们利用Google的一元语言模型进行分词的程序基本上已经完成了 … 继续阅读

发表在 中文分词, 语言模型 | 标签为 , , , , , , , | 4条评论

Beautiful Data-统计语言模型的应用三:分词6

  说完了Python中的__call__函数,我们继续来完善segment.p … 继续阅读

发表在 中文分词, 语言模型 | 标签为 , , , , , , , , , | 4条评论

Beautiful Data-统计语言模型的应用三:分词5

  上一节我们已经解读了Pdist类中的__init__函数,这一节重点关注一下 … 继续阅读

发表在 中文分词, 语言模型 | 标签为 , , , , , , , , , | 一条评论

Beautiful Data-统计语言模型的应用三:分词4

  对于Pw函数,这里稍微多做一点说。首先我们从一元语言模型的文件里读取单词及其 … 继续阅读

发表在 中文分词, 语言模型 | 标签为 , , , , , , , , | 5条评论

Beautiful Data-统计语言模型的应用三:分词3

  本节我们进入《Beautiful Data》中分词的编码阶段,完整的程序及数 … 继续阅读

发表在 中文分词, 语言模型 | 标签为 , , , , , , , , , | 留下评论

Beautiful Data-统计语言模型的应用三:分词2

  现在,我们就可以应用这个方法来进行分词了。首先定义一个函数:segment, … 继续阅读

发表在 中文分词, 语言模型 | 标签为 , , , , , , | 留下评论