最近要整理一下课程图谱里的中文课程，需要处理中文，首当其冲的便是中文分词的问题。目前有一些开源的或者商用的中文分词器可供选择，但是出于探索或者好奇心的目的，想亲手打造一套实用的中文分词器，满足实际的需求。这些年无论是学习的时候还是工作的时候，林林总总的接触了很多实用的中文分词器，甚至在这里也写过一些Toy级别的中文分词相关文章，但是没有亲手打造过自己的分词器，甚为遗憾。目前自己处于能自由安排工作的阶段，所以第一步就是想从中文信息处理的桥头堡“中文分词”入手，打造一个实用的中文分词器，当然，首先面向的对象是课程图谱所在的教育领域。

大概4年前，这里写了两篇关于字标注中文分词的文章：中文分词入门之字标注法，文中用2-tag（B，I）进行说明并套用开源的HMM词性标注工具Citar（A simple Trigram HMM part-of-speech tagger）做了演示，虽然分词效果不太理想，但是能抛砖引玉，也算是有点用处。这次捡起中文分词，首先想到的依然是字标注分词方法，在回顾了一遍黄昌宁老师和赵海博士在07年第3期《中文信息学报》上发表的《中文分词十年回顾》后，决定这次从4-tag入手，并且探索一下最大熵模型和条件随机场（CRF）在中文分词字标注方法上的威力。这方面的文献大家可参考张开旭博士维护的“中文分词文献列表”。这里主要基于已有文献的思路和现成的开源工具做一些验证，包括张乐博士的最大熵模型工具包(Maximum Entropy Modeling Toolkit for Python and C++)和条件随机场的经典工具包CRF++(CRF++: Yet Another CRF toolkit)。

这个系列也将补充两篇文章，一篇简单介绍背景知识并介绍如何利用现成的最大熵模型工具包来做中文分词，另外一篇介绍如何用CRF++做字标注分词，同时基于CRF++的python接口提供一份简单的 CRF Python 分词代码，仅供大家参考。至于最大熵和CRF++的背景知识，这里不会过多涉及，推荐大家跟踪一下课程图谱上相关的机器学习公开课。

这次使用的中文分词资源依然是SIGHAN提供的backoff 2005语料，目前封闭测试最好的结果是4-tag+CFR标注分词，在北大语料库上可以在准确率，召回率以及F值上达到92%以上的效果，在微软语料库上可以到达96%以上的效果。不清楚这份中文分词资源的同学可参考很早之前写的这篇文章：中文分词入门之资源。以下我们将转入这篇文章的主题，基于最大熵模型的字标注中文分词。
继续阅读 →