晚上在CWMT（China Workshop on Machine Translation）的邮件组里看到东北大学自然语言处理实验室朱靖波老师的邮件，题为“NiuTrans: 一套开源的统计机器翻译平台”，仔细读了一下，觉得这句话很有分量：“内部测试结果显示性能和速度稳定优于Moses”,如果读者感兴趣，可以去NiuTrans的主页去申请下载，做个测试，NiuTrans的主页见：http://www.nlplab.com/NiuPlan/NiuTrans.html。前不久“哈工大语言技术平台（LTP）源代码正式对外共享”，而今东北大学也开源了NiuTrans这套统计机器翻译平台，这些对于致力于中文信息处理的NLPer来说都是好消息。以下内容全文转载自朱靖波老师的邮件： 各位老师，大家好！ 我们实验室经过多个月的努力，NiuPlan的第一个NiuTrans系列系统-基于短语的统计机器翻译系统终于打包成功，Alpha版源代码正式对外免费发布，目前访问入口显示在我们实验室网站（http://www.nlplab.com）首页左上角。网页上提供了详细的使用说明和高级参数设置方法，并且还提供了部分样本数据用于学习如何使用NiuTrans. 内部测试结果显示性能和速度稳定优于Moses.系统代码的下载方式非常简单，在注册页输入姓名和电子邮件，即可得到动态下载的链接。建议提供正确的电子邮件，这样以后可以随时得到NiuPlan的最新发布和更新信息。 计划一年之内，我们实验室将不断推出NiuPlan不同系列的开源系统，包括Hierarchical phrase-based model，Syntax-based model (string-to-tree/tree-to-string/tree-to-tree)和基于统计的句法分析系统开源平台等。 NiuPlan最终将推出四个系列的开源平台系统：NiuTrans, NiuParser, NiuMining, and NiuKnowledge（暂定名字）系列系统．欢迎同行们免费下载使用，并能够将宝贵建议及时反馈给我们，我们承诺将尽力尽快完善NiuPlan各系列开源系统，在此感谢各位的使用和对现有Bug的容忍。所有系统可以从我们实验室网站上获取．祝好！ Best regards, Dr. Jingbo Zhu (朱靖波) Professor(PhD Supervisor), Director Natural Language Processing Laboratory Northeastern University Shenyang, Liaoning, P.R.China Phone: 0086-24-83672481 (O)(Fax) … 继续阅读
哈工大语言技术平台（LTP）源代码已经于6月1号正式对外共享，这对于广大致力于中文信息处理的NLPer来说，无疑是一个好消息。以下转载自“哈工大社会计算与信息检索研究中心”的官方主页，有需要的读者可以关注一下： 语言技术平台（Language Technology Platform，LTP）是哈工大社会计算与信息检索研究中心历时十年开发的一整套中文语言处理系统。LTP制定了基于XML的语言处理结果表示，并在此基础上提供了一整套自底向上的丰富而且高效的中文语言处理模块（包括词法、句法、语义等6项中文处理核心技术），以及基于动态链接库（Dynamic Link Library, DLL）的应用程序接口，可视化工具，依存树库等语料资源，并且能够以网络服务（Web Service）的形式进行使用。 从2006年9月5日开始该平台对外免费共享目标代码，截止目前，已经有国内外400多家研究单位共享了LTP，也有国内外多家商业公司购买了LTP，用于实际的商业项目中。2010年12月获得中国中文信息学会颁发的行业最高奖项：”钱伟长中文信息处理科学技术奖”一等奖。 2011年6月1日，为了与业界同行共同研究和开发中文信息处理核心技术，我中心正式将LTP的源代码对外共享，LTP由C++语言开发，可运行于Windows和Linux操作系统。详见：http://ir.hit.edu.cn/ltp/ 欢迎各界朋友共享！
自然语言处理与计算语言学的盛会ACL 2011即将在美国俄勒冈州波特兰市举行，而Google Research Blog在昨天发表了一篇“Google at ACL 2011”，给大家及时通报了今年Google在ACL 2011上的参与情况。粗略的看了一下，Google今年在ACL上发表的Paper涉及Part-of-Speech Tagging, Named Entity Recognition, Context-Free Parsing, Translation等自然语言处理的基础领域，值得NLPer们一阅。我是在Google Reader上看到的，直接看原文的话在国内可能需要“翻墙”，为了给大家节省一点“翻墙”的时间以及活跃这里的气氛，以下就全文转载了！
李维老师的文章看起来就是过瘾，这篇文章也是刚刚在科学网上看到的，还有下一篇，感兴趣的读者可以继续关注。前段时间IBM超级计算机沃森（Watson）刚刚出了一把风头，也让关注自然语言处理的读者更关注起自动问答系统了，李维老师的这篇博文无疑让我们对于问答系统的前世今生又有了一次深刻的了解，所以厚着脸皮，以下继续全文转载自李维老师的博文：立委科普：问答系统的前生今世。 上周信笔涂鸦写了个不伦不类的科普（【立委科普：从产业角度说说NLP这个行当】），写完自我感觉尚可，于是毛遂自荐要求加精：“自顶一哈：不用谦虚，这个应该加精。也不枉我费了大半天的时辰。” 本来是玩笑话，没成想科网的编辑MM在两小时内就真地加精上首页了。前几周还在抱怨，怕被编辑打入另册，正琢磨献花还是金币以求青睐，没想到这么快就峰回路转，春暖花开。响鼓不用重敲，原来还是要发奋码字才行，花言巧语的不行。得，一鼓作气，再码两篇。 言归正传，第一篇先介绍一下问答系统（Question Answering system）的来龙去脉。第二篇专事讲解问答系统中的三大难题 What，How 与 Why。 一 前生 传统的问答系统是人工智能（AI: Artificial Intelligence）领域的一个应用，通常局限于一个非常狭窄专门的领域，基本上是由人工编制的知识库加上一个自然语言接口而成。由于领域狭窄，词汇总量很有限，其语言和语用的歧义问题可以得到有效的控制。问题是可以预测的，甚至是封闭的集合，合成相应的答案自然有律可循。著名的项目有上个世纪60 年代研制的LUNAR系统，专事回答有关阿波罗登月返回的月球岩石样本的地质分析问题。SHRDLE 是另一个基于人工智能的专家系统，模拟的是机器人在玩具积木世界中的操作，机器人可以回答这个玩具世界的几何状态的问题，并听从语言指令进行合法操作。这些早期的AI探索看上去很精巧，揭示了一个有如科学幻想的童话世界，启发人的想象力和好奇心，但是本质上这些都是局限于实验室的玩具系统（toy systems），完全没有实用的可能和产业价值。随着作为领域的人工智能之路越走越窄（部分专家系统虽然达到了实用，基于常识和知识推理的系统则举步维艰），寄生其上的问答系统也基本无疾而终。倒是有一些机器与人的对话交互系统 （chatterbots）一路发展下来至今，成为孩子们的网上玩具（我的女儿就很喜欢上网找机器人对话，有时故意问一些刁钻古怪的问题，程序应答对路的时候，就夸奖它一句，但更多的时候是看着机器人出丑而哈哈大笑。不过，我个人相信这个路子还大有潜力可挖，把语言学与心理学知识交融，应该可以编制出质量不错的机器人心理治疗师。其实在当今的高节奏高竞争的时代，很多人面对压力需要舒缓，很多时候只是需要一个忠实的倾听者，这样的系统可以帮助满足这个社会需求。要紧的是要消除使用者 “对牛弹琴”的先入为主的偏见，或者设法巧妙隐瞒机器人的身份，使得对话可以敞开心扉。扯远了，打住。）
“NLP is not magic, but the results you can get sometimes seem almost magical.” 这篇文章是前几天在科学网李维老师的博客上看到的，写得很棒，没有在NLP产业摸爬滚打几十年，是写不出的，这里全文转载，原文见科学网博客, 以下转载自李维老师的博文：立委科普：从产业角度说说NLP这个行当 前面一篇博文的本意，是想借题发挥，从工业运用的角度说说 NLP（Natural Language Processing：自然语言处理）这个行当。不好意思，我算是这个行当在工业界的老古董了（学界不算，学界有的是NLP师爷和大牛）。跟我同期学习这行的同门学长们有小20位，由于这个行当不能在工业界形成规模，他们无一例外都在不同时期改行了，我几乎是幸存在工业界的仅有的化石级元老，赶上了工业应用的末班车。我运气比较好，1986年硕士毕业不久就兼职中关村搞机器翻译的开发，1997年博士快结束又赶上了dot康泡沫的美国大跃进，技术资金源源不断。就是在泡沫破灭后的萧条年代，我也一直对这一行抱有信心，但是从来没有像现在这样信心满满。我的预计，今后20年是 NLP 大显神威的时机，NLP 技术支撑的包括搜索在内的各类信息系统是真正的朝阳产业。（卖瓜的说瓜甜，据说连饶教授这样的大牛都不免。所以读者诸君为免在下误导，可在此打个折扣。） NLP 技术的工业可行性我认为已经完全被证明了（很多人也许还没有意识到）。证明的实例表现在我们解决了三个信息搜索的难题：1 是解决了搜索 how 的难题；2 是解决了搜索 why 的难题；3 是解决了对客户反馈情报及其动机的抽提（譬如客户对一个产品的好恶）。前两个问题是问答搜索业界公认的最难类型的题目，第三个题目涉及的是语言现象中较难把握的主观性言语（subjective language），并非NLP通常面对的对象（objective language，事实描述的客观性言语），因此成为语言处理最难的课题之一（叫 sentiment extraction）。从问答系统角度来看，回答who/when/where等实体（entity）事实（factoid）的问题比较简单，技术相对成熟，最突出的表现就是IBM的问答系统赢得美国家喻户晓的电视智力竞赛Jeopardy的冠军，电脑打败了人脑，见 COMPUTER CRUSHES HUMAN ‘JEOPARDY!’ … 继续阅读
今天ACL-HLT 2011官方网站上已经给出了今年的short paper的录用情况，以下转载自ACL-HLT 2011的官方网站上的“List of Accepted Papers”。
注：这是今天在Matrix67上看到的关于中文分词的文章，粗略的读了一遍，觉得Matrix67能把中文分词的一些关键问题如此“漫话”开来，不愧是北大中文系的牛人！以下文章转自于Matrix67的“漫话中文分词算法”，有兴趣的读者可以移步到他的blog观赏。 记得第一次了解中文分词算法是在 Google 黑板报 上看到的，当初看到那个算法时我彻底被震撼住了，想不到一个看似不可能完成的任务竟然有如此神奇巧妙的算法。最近在詹卫东老师的《中文信息处理导论》课上 再次学到中文分词算法，才知道这并不是中文分词算法研究的全部，前前后后还有很多故事可讲。在没有建立统计语言模型时，人们还在语言学的角度对自动分词进 行研究，期间诞生了很多有意思的理论。 中文分词的主要困难在于分词歧义。“结婚的和尚未结婚的”，应该分成“结婚／的／和／尚未／结婚／的”，还是“结婚／的／和尚／未／结婚／ 的”？人来判断很容易，要交给计算机来处理就麻烦了。问题的关键就是，“和尚未”里的“和尚”也是一个词，“尚未”也是一个词，从计算机的角度看上去，两 者似乎都有可能。对于计算机来说，这样的分词困境就叫做“交集型歧义”。 有时候，交集型歧义的“歧义链”有可能会更长。“中外科学名著”里，“中外”、“外科”、“科学”、“学名”、“名著”全是词，光从词库的 角度来看，随便切几刀下去，得出的切分都是合理的。类似的例子数不胜数，“提高产品质量”、“鞭炮声响彻夜空”、“努力学习语法规则”等句子都有这样的现 象。在这些极端例子下，分词算法谁优谁劣可谓是一试便知。
偶尔会去“张华平博士的空间”看看，多数情况下他都会写些与教学或者技术相关的博文。今晚发现他前几天写了一篇《祖国应该做海外华人更好的娘家-新马之旅观感》，读完感慨良多，本想在张老师的文章下留个言，没想到百度空间必须注册才能发表评论，就想到这里了！虽与自然语言处理无关，但觉得还是有一些读者会感兴趣的。以下仅摘录第一段和最后一段，有兴趣的读者可以去张老师的空间看全文。 无法脱俗，春节期间携夫人一起走了一趟新马，新加坡与马来西亚的热带雨林气候造就了这片热土，常年四季如夏，雨水充足，森林覆盖面超过50%，人与自然的和谐统一，人民生活得非常惬意，没有我们那么压力山大。新加坡的人均收入3000新币（大约人民币1.5万），各类开销比较小，政府几乎负担了生老病死，教育从小到大完全免费。向国家买房，代价也不过30万人民币，化妆品国外品牌的服装基本上也就国内价格的5-8折，中国的烟酒在国外只需国内价格的5-8 折，大家明白财政收入增长的原由了吧，祖国，我们拿最低的薪水，花最高的物价，悲乎？马来西亚的经济水平比我们差，但是全民教育免费，看任何病1马币，在吉隆坡购买一套房也不过3万马币（约6.4万人民币），保障了国民的教育、医疗和住房，中国立马和谐稳定。我们还有很大的差距，还有很多的工作要做。 … 有位好友在日本生活多年，因为民族感情，迟迟不愿加入日本国籍，去年归国，有关部门以超生为由，至今无法为他的一对儿女落户，成为黑户，不得以加入加拿大国籍，苦笑一句：“我爱祖国，祖国不爱我”。改用西汉名将甘延寿和陈汤的名句，“犯我大汉子民者，虽远，必诛！”，祖国不是空泛的概念，不仅仅是动员我们奉献的主体，更应该是我们的娘家，是在我们包括海外华人受到侵犯是的保护神，这些才能让我们感觉到祖国的存在。政府和外交还有很大的差距。 而至于我的感慨，此处省略五千字!
【译者注：自然语言理解绝不是一种单纯的数学游戏，也不是单纯的语言哲学所描述的体系，因此，过分地讨论算法和语言教条都不是有前途的道路。自然语言理解是介于信息积累和语言教条综合执行的过程，因此，未来的方向也许主要停留在关注语言学习的研究方法上。 本文正是利用信息统计的手段解决传统规则学习的一种有价值的探索。因此，译者深受启发，便连夜翻译出来，希望该文也能成为大家的一盏灯。由于译者英语水平有限，加上专业知识不足，翻译必有错谬之处，请各位道友争相指正。 本文原地址：kybele.psych.cornell.edu/~edelman/adios-nips-workshop.pdf】 Shimon Edelman Zach Solan, David Horn, Eytan Ruppin Department of Psychology Sackler Faculty of Exact Sciences Cornell University Tel Aviv University Ithaca, NY 14853, USA Tel Aviv, Israel 69978 se37@cornell.edu {frsolan,horn,rupping}@post.tau.ac.il 摘要 我们将自己开发的无监督语言学习模型ADIOS [1]，与计算语言学和语法理论的最新工作做了一下比较。我们的方法，就一般原理来看，类似于结构语法（比如，依赖于结构生成方式，但不又像当前生成理论由词汇反映语法知识那样），而就计算特性来看，系统又类似于语法树链接方法（比如，明显具有上下文相关特性)。我们的算法学习到的表达式完全源于语料数据（无标注），而现有关于认知和结构语法以及TAGs的文献中，这些都是由人工来制定的。因而，我们的成果完善并延伸了计算学、尤其是语言学在语言学习方面的研究。该研究也表明了语言的经验化和形式化研究也可以得到有效的结合。
卓越网：自然语言处理书籍
Python自然语言处理(影印版)
当当网：自然语言处理书籍
苏ICP备10010175号 • 本站采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本站内容必须也遵循“署名-非商业用途-保持一致”的创作共用协议.
