各位同学、老师、网友，大家好，由中科院自动化所综合信息中心承担、国家科技部支持的自动化学科数字化知识服务网络平台已经上线。网站地址是：http://autoinnovation.ia.ac.cn/,欢迎大家使用，并且给我们提出意见和建议。 下面是平台使用过程中的几点注意事项：（1）初次使用时，如果您的浏览器没有安装silverlight插件，请您按提示下载安装该插件；（2）如果您在使用中遇到一些小问题，可以查看网站的帮助文件；（3）该平台框架实际为数据库检索系统，因此您输入检索词后，需要等待下拉菜单出现相应检索词，选中相应检索词，之后在点击搜索按钮，如下图所示 图 1 检索说明示意图 平台旨在挖掘、分析和展现我国自动化领域（包括部分计算机、通信的交叉领域）自1960年以来的学术发展情况。我们力求展现出国内自动化领域学术活动的立体全景，对领域内的文献、学者、机构、以及研究方向、方法、理论和工具等，做了全方位的关联分析。为了更好地展现知识，我们在精心设计页面布局的基础上，使用了Silverlight、Ajax等技术进行网站开发；为了让展现出来的知识更加精确，我们在数据处理中使用了包括命名实体识别与排歧、文本聚类在内的多种数据挖掘技术。 该平台凝结了综合信息中心的老师、开发人员、以及多位学生的大量心血。无论是在前期设计、后台数据处理、还是前台网站开发，我们都本着精益求精的原则，团队内部经过多次尝试和试验，力求选择最佳方案。但是作为一个人员有限的开发团队，我们的思虑与广博的群体智慧相比还是有所逊色的。为此，我们热诚地欢迎各位老师、同学、工作人员向我们提出您宝贵的建议。我们欢迎大家从各个层面给我们提出意见和建议，您的意见和建议将是敦促我们进步和改进的最给力的源泉！ 我们的联系方式是： email: y.liu@ia.ac.cn 新浪微博：http://weibo.com/autoinnovation http://weibo.com/finallyly 如果您觉得方便，可以留下您的姓名和单位，我们将在我们的网站进行致谢！ 数据共享计划： 同时，我们将与数据堂展开合作，开源部自然语言处理相关资源，期待大家的关注。欢迎大家就NLP资源的需求问题，以及文本挖掘的技术问题互相交流和探讨。
晚上在CWMT（China Workshop on Machine Translation）的邮件组里看到东北大学自然语言处理实验室朱靖波老师的邮件，题为“NiuTrans: 一套开源的统计机器翻译平台”，仔细读了一下，觉得这句话很有分量：“内部测试结果显示性能和速度稳定优于Moses”,如果读者感兴趣，可以去NiuTrans的主页去申请下载，做个测试，NiuTrans的主页见：http://www.nlplab.com/NiuPlan/NiuTrans.html。前不久“哈工大语言技术平台（LTP）源代码正式对外共享”，而今东北大学也开源了NiuTrans这套统计机器翻译平台，这些对于致力于中文信息处理的NLPer来说都是好消息。以下内容全文转载自朱靖波老师的邮件： 各位老师，大家好！ 我们实验室经过多个月的努力，NiuPlan的第一个NiuTrans系列系统-基于短语的统计机器翻译系统终于打包成功，Alpha版源代码正式对外免费发布，目前访问入口显示在我们实验室网站（http://www.nlplab.com）首页左上角。网页上提供了详细的使用说明和高级参数设置方法，并且还提供了部分样本数据用于学习如何使用NiuTrans. 内部测试结果显示性能和速度稳定优于Moses.系统代码的下载方式非常简单，在注册页输入姓名和电子邮件，即可得到动态下载的链接。建议提供正确的电子邮件，这样以后可以随时得到NiuPlan的最新发布和更新信息。 计划一年之内，我们实验室将不断推出NiuPlan不同系列的开源系统，包括Hierarchical phrase-based model，Syntax-based model (string-to-tree/tree-to-string/tree-to-tree)和基于统计的句法分析系统开源平台等。 NiuPlan最终将推出四个系列的开源平台系统：NiuTrans, NiuParser, NiuMining, and NiuKnowledge（暂定名字）系列系统．欢迎同行们免费下载使用，并能够将宝贵建议及时反馈给我们，我们承诺将尽力尽快完善NiuPlan各系列开源系统，在此感谢各位的使用和对现有Bug的容忍。所有系统可以从我们实验室网站上获取．祝好！ Best regards, Dr. Jingbo Zhu (朱靖波) Professor(PhD Supervisor), Director Natural Language Processing Laboratory Northeastern University Shenyang, Liaoning, P.R.China Phone: 0086-24-83672481 (O)(Fax) … 继续阅读
哈工大语言技术平台（LTP）源代码已经于6月1号正式对外共享，这对于广大致力于中文信息处理的NLPer来说，无疑是一个好消息。以下转载自“哈工大社会计算与信息检索研究中心”的官方主页，有需要的读者可以关注一下： 语言技术平台（Language Technology Platform，LTP）是哈工大社会计算与信息检索研究中心历时十年开发的一整套中文语言处理系统。LTP制定了基于XML的语言处理结果表示，并在此基础上提供了一整套自底向上的丰富而且高效的中文语言处理模块（包括词法、句法、语义等6项中文处理核心技术），以及基于动态链接库（Dynamic Link Library, DLL）的应用程序接口，可视化工具，依存树库等语料资源，并且能够以网络服务（Web Service）的形式进行使用。 从2006年9月5日开始该平台对外免费共享目标代码，截止目前，已经有国内外400多家研究单位共享了LTP，也有国内外多家商业公司购买了LTP，用于实际的商业项目中。2010年12月获得中国中文信息学会颁发的行业最高奖项：”钱伟长中文信息处理科学技术奖”一等奖。 2011年6月1日，为了与业界同行共同研究和开发中文信息处理核心技术，我中心正式将LTP的源代码对外共享，LTP由C++语言开发，可运行于Windows和Linux操作系统。详见：http://ir.hit.edu.cn/ltp/ 欢迎各界朋友共享！
注：这是今天在Matrix67上看到的关于中文分词的文章，粗略的读了一遍，觉得Matrix67能把中文分词的一些关键问题如此“漫话”开来，不愧是北大中文系的牛人！以下文章转自于Matrix67的“漫话中文分词算法”，有兴趣的读者可以移步到他的blog观赏。 记得第一次了解中文分词算法是在 Google 黑板报 上看到的，当初看到那个算法时我彻底被震撼住了，想不到一个看似不可能完成的任务竟然有如此神奇巧妙的算法。最近在詹卫东老师的《中文信息处理导论》课上 再次学到中文分词算法，才知道这并不是中文分词算法研究的全部，前前后后还有很多故事可讲。在没有建立统计语言模型时，人们还在语言学的角度对自动分词进 行研究，期间诞生了很多有意思的理论。 中文分词的主要困难在于分词歧义。“结婚的和尚未结婚的”，应该分成“结婚／的／和／尚未／结婚／的”，还是“结婚／的／和尚／未／结婚／ 的”？人来判断很容易，要交给计算机来处理就麻烦了。问题的关键就是，“和尚未”里的“和尚”也是一个词，“尚未”也是一个词，从计算机的角度看上去，两 者似乎都有可能。对于计算机来说，这样的分词困境就叫做“交集型歧义”。 有时候，交集型歧义的“歧义链”有可能会更长。“中外科学名著”里，“中外”、“外科”、“科学”、“学名”、“名著”全是词，光从词库的 角度来看，随便切几刀下去，得出的切分都是合理的。类似的例子数不胜数，“提高产品质量”、“鞭炮声响彻夜空”、“努力学习语法规则”等句子都有这样的现 象。在这些极端例子下，分词算法谁优谁劣可谓是一试便知。
以下文字代友Alex转发，如果哪位读者有水木帐号，恳请转载到“水木自然语言处理版”，非常感谢！Alex从事的是技术翻译相关的工作，对机器翻译比较感兴趣，希望搞个北京地区线下交流的自然语言处理的学术沙龙，主要面向中文机器翻译，也欢迎NLP其他领域的朋友，以下文字系Alex所写： 中文机器翻译是自然语言处理的重要应用领域之一，其跨学科的特点非常显著，涉及了语言学、数学、计算机、认知科学等多种学科。 目前在北京和全国对相关研究感兴趣的人很多，相对分散。仅仅在北京，从事相关研究的北京高校和科研院所就有清华大学、北京大学、中科院各研究所、北京外国语大学、北京师范大学、北京邮电大学、中国传媒大学、北京交通大学等。 鉴于此，拟组织定期学术沙龙活动，在轻松的环境中相互交流学术问题，促进相关的学术研究。沙龙设想的初期参与者包括北京各高校、研究所的硕士博士生和科研人员，也欢迎公司企业界和京外相关人士参加。 有兴趣的请发邮件到cmt.salon@gmail.com与我联系。谢谢！
在国内的自然语言处理领域，估计没有人不知道大名鼎鼎的中文分词工具ICTCLAS了，所以用不着我来推荐。不过今天收到ICTCLAS的作者张华平老师的来信，希望我这里收录一下他最近刚发布的ICTCLAS2010共享版本，这个版本对于研究人员非商业免费使用一年，所以在这里做个推荐，非常感谢张老师对于中文信息处理领域的贡献!
在进入正题之前，还是先说两句篇外话，上一篇《中文分词入门之篇外》中说到了solol提供了Java版的mmseg，相似的，python版mmseg的作者fakechris也在这里留了言： 你好，我是pychseg的作者，一直没时间加上download，大家check out源代码就可以用了。。。
这篇不是计划内的“中文分词入门系列”，所以称之为篇外。上一篇《中文分词入门之最大匹配法扩展1》提到了MMSEG国内的一些情况： 不过国内也有该文的简介文章：《MMSeg分词算法简述》，原文似乎出自“www.solol.org”，但是我一直没打开这个网站，因为Java版的mmesg也是其提供的，不知道是已经关闭了还是被“墙”了。另外，leeing也翻译了全文《MMSEG 中文分词算法》，我粗略的读了一下，感觉翻译的不错。
这里曾写过《中文分词入门之最大匹配法》，并且获得了很高的关注度，不过现在回头来看，这个方法只是最初级的中文分词匹配方法。事实上，很多学者都基于简单的中文分词匹配法做了扩展，其中比较有名的就是台湾蔡志浩老师1996年写的“MMSEG: A Word Identification System for Mandarin Chinese Text Based on Two Variants of the Maximum Matching Algorithm”，在这篇文章的页面中，不仅介绍了相关的中文分词算法，并且提供了一个C版本的mmseg供研究使用，目前根据该文及其代码移植的mmseg程序版本包括C++版、Java版、Python版及Ruby版，影响甚广。
虽然基于字标注的中文分词借鉴了词性标注的思想，但是在实践中，多数paper中的方法似乎局限于最大熵模型和条件随机场的应用，所以我常常疑惑字标注中文分词方法为什么不采用别的模型和方法呢？莫非是由于其诞生之初就采用了最大熵模型的缘故。但是，在词性标注中，Citar实现的是TnT中所采用的HMM trigram方法，其所宣称的性能是不亚于最大熵模型等词性标注器的。基于这样的前提，本文就验证一下基于Citar实现的HMM trigram字标注中文分词器的性能。
卓越网：自然语言处理书籍
Python自然语言处理(影印版)
当当网：自然语言处理书籍
苏ICP备10010175号 • 本站采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本站内容必须也遵循“署名-非商业用途-保持一致”的创作共用协议.
