最近在处理NLPJob的一些数据，发现之前训练的Mecab中文分词工具包还有一些问题，所以想到了为NLPJob定制一个MeCab中文分词器，最简单的方法就是整理一批相关的词条，可以通过词条追加的方法加到原有的Mecab中文分词词典中去，这个可以参考《日文分词器Mecab文档》中介绍的“词条追加”方法，既可以放到系统词典中，也可以放到用户词典中，很方便。不过这个还不是最佳方案，之前有用户在《用MeCab打造一套实用的中文分词系统》中留言：

你好， 我在win7上训练的时候mecab-cost-train的时候会崩溃，请问下我能每次只训练一小部分，然后最后一起发布嘛?

google了一下，发现MeCab的作者Taku Kudo在google plus上给了一个增量更新的方案：

https://plus.google.com/107334123935896432800/posts/3g83gkBoSYE

当然这篇文章是用日文写得，不过如果熟悉Mecab的相关脚本，很容易看懂。增量更新除了可以解决在小内存机器上分批训练模型外，也可以很容易在一个已有的基准分词模型上定制特定领域的分词器，既更新词典，也更新模型，这才是我理想中NLPJob中文分词器的定制之路。
继续阅读 →