我爱自然语言处理 » 机器翻译

机器翻译新闻一则：SDL公司收购Language Weaver

52nlp — Wed, 21 Jul 2010 15:27:37 +0000

　　也许是时下流行收购吧，前天刚谈了“Google收购语义网公司Metaweb”，没想到今天又发现“SDL公司收购Language Weaver”。Language Weaver是我非常崇拜的统计机器翻译公司，曾经在这里写过”自然语言处理公司巡礼七：Language Weaver“，没想到也被收购了！以下是上述新闻摘录的要点：

　　英国梅登黑德——作为一家领先的全球信息管理方案提供商，SDL 2010年7月15日宣布已签署收购 Language Weaver Inc.（以下简称“Language Weaver”）的协议。Language Weaver 是统计机器翻译领域的先驱，对其收购不仅仅是为了将最好的自动翻译技术移植到 SDL 全球信息管理平台中，事实上它的意义远大于此。将安全的机器翻译技术集成到翻译供应链的各个环节中，可使企业和政府能更快更高效地翻译超大容量的内容，以满足当今急剧增长的网络世界对海量信息的需求。经股东同意，此次交易共购买 Language Weaver 85% 以上的资本所有权，预计将于 2010 年 7 月底完成交易。
　　．．．
　　Language Weaver 总部设在美国加利福尼亚州洛杉矶市，在美国、欧洲和日本都有办公室，拥有雇员96 名。公司与南加利福尼亚大学信息科学研究院（机器翻译研究的领军机构）合作紧密。双方科学家都在共同努力，以期进一步研究和提高统计机器翻译方法。Language Weaver 的创始人Daniel Marcu 和 Kevin Knight 均为统计机器翻译领域的领军人物，他们将继续留任公司。因为 Language Weaver 技术的品质与性能已达到全新水平，Mark Tapling新近提拔成为了 Language Weaver 的 CEO，以便进一步加强公司的商业化进程，Mark Tapling 也将继续留任公司。且当前并无对 Language Weaver 公司进行裁员的计划。
　　．．．
　　 “尽管谷歌翻译已成为消费者即时翻译的标准，但我们发现，大多数企业希望拥有自己的自动翻译技术，”Language Weaver 的董事长兼执行总裁Mark Tapling 说到，“使用Language Weaver，可保证您的内容安全、保密；它遵循翻译工作流程，而且可以很容易地集成到其他系统中。它也可以提供质量排序和受训系统，以提供值得您信赖的质量。它遵守诸如公司品牌和翻译一致性这类要求。Language Weaver的研发团队，不断推进统计机器翻译研究的极限，同时为企业和政府机构提供人际交往解决方案。SDL的收购将大大增强Language Weaver团队解决问题的能力，并向市场推出独特的高价值机器翻译产品和解决方案。”
　　．．．
　　今天，自动翻译仅占翻译市场总量的 1% 左右（据IDC提供的数据，约为100-150亿美元）但市场分析人士预计，无论是整个翻译市场，还是自动翻译的市场份额都将持续大幅度增长。SDL发现自动翻译能降低客户 30％到50％的翻译成本，与此同时，已翻译内容的市场投放时间可缩短 50% 以上。

注：转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/机器翻译新闻一则-sdl公司收购language-weaver

安装Srilm的一点新变化

52nlp — Sat, 10 Apr 2010 12:44:58 +0000

　　读者Fanlc昨天在《Ubuntu 64位系统下SRILM的配置详解》下留言：“为什么我下载到的1.5.10版本，没有test文件夹呢?编译之后也没有……这怎么测试”。我手头没有Srilm的1.5.10版本，于是下载了一个看看，发现主目录下的确没有test文件夹，对比了一下1.5.9版本的Srilm目录，发现这是一点新变化。
　　对比了一下Srilm 1.5.10和1.5.9里自带的INSTALL文件,以下是diff后的结果：

103c103
< 7 – To test the compiled tools, change into the $SRILM/test directory and run
—
> 7 – To test the compiled tools, run
105c105,107
< gnumake all
—
> gnumake test
>
> from the top-level directory.
109,110c111,113
< reported, examine the output files in $SRILM/test/output and compare them
reported, examine the output files in $SRILM//test/output and
> compare them to the corresponding files in $SRILM//test/reference,
> where is a subdirectory name (lm, flm, lattice).
157c160
157c160
< $Date: 2009/06/28 09:12:45 $
—
> $Date: 2009/12/02 19:39:04 $

　　主要是第7步test时有变化，以前是：

cd test
make all

　　现在改为了：

make test

　　而1.5.10里test文件已不在主目录下，而是分别位于：$SRILM/lm & flm & lattice下。
　　晚上我在一台新机器上试着编译了一下1.5.10版本的Srilm，依然是检查安装依赖软件，修改Makefile，以及make World编译，而在测试时改变为“make test”，同样一大堆的IDENTICAL及少量DIFFERS出现。
　　写在这里，做个备忘，同时提醒将来可能会遇到此问题的读者，最后感谢Fanlc读者的提示！

注：原创文章，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/安装Srilm的一点新变化

Moses最新版本发布

52nlp — Mon, 29 Mar 2010 15:53:39 +0000

　　统计机器翻译开源工具Moses的主要负责人之一Hieu Hoang，也是Moses代码的最大贡献者在3月28日的邮件列表里发布了一个通知“Moses release”，除了告知最新的Moses源代码包的下载地址外，还列出了自上一次发布之后的12点改进，这些改进来自于Moses开源社区许许多多开发者的贡献。以下是Hieu Hoang的全文：

Hiya Mosers and Mosettes,

It’s been a year since the last release& there’s been lots of changes, by lots of people, that we thought you should know about.

A new release tar ball and zip file are on sourceforge, or svn update as usual
https://sourceforge.net/projects/mosesdecoder/

Also, there is likely to be big changes in the next month as we merge the hierarchical/syntax branch into trunk. Please avoid svn up after today, and double check with someone else before committing large chunks of code to the trunk.

Changes since the last time:
1. minor bug fixes& tweaks, especially to the decoder, MERT scripts (thanks to too many people to mention)
2. fixes to make decoder compile with most versions of gcc, Visual studio and other compilers (thanks to Tom Hoar, Jean-Bapist Fouet).
3. multi-threaded decoder (thanks to Barry Haddow)
4. update for IRSTLM (thanks to nicola bertoldi& Marcello Federico)
5. run mert on a subset of features (thanks to nicola bertoldi)
6. Training using different alignment models (thanks to Mark Fishel)
7. “a handy script to get many translations from Google” (thanks to Ondrej Bojar)
8. Lattice MBR (thanks to Abhishek Arun& Barry Haddow)
9 . Option to compile moses as a dynamic library (thanks to Jean-Bapist Fouet).
10. hierarchical re-ordering model (thanks to Christian Harmeier, Sara Styme, Nadi, Marcello, Ankit Srivastava, Gabriele Antonio Musillo, Philip Williams, Barry Haddow).
11. Global Lexical re-ordering model (thanks to Philipp Koehn)
12. Experiment.perl scripts for automating the whole MT pipeline (thanks to Philipp Koehn)

　　目前最新的版本是“moses-2010-03-26”，这个属于稳定的Moses版本，如果读者喜欢最新的源代码，可以通过SVN获取。

注：转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/moses最新版本发布

第十二届机器翻译峰会和NIST2009机器翻译评测研讨会简介2

52nlp — Tue, 23 Mar 2010 16:25:10 +0000

　　继续转载《中文信息学报》09年第6期中科院计算所米海涛,赵红梅,刘群老师的《第十二届机器翻译峰会和NIST2009 机器翻译评测研讨会简介》，这一部分主要介绍的是NIST2009机器翻译评测研讨会。

　　第十二届机器翻译峰会和NIST2009 机器翻译评测研讨会简介
　　　　　　　　　　　作者：米海涛,赵红梅,刘群

NIST2009机器翻译评测研讨会:
　　NIST机器翻译评测是国际上最权威的机器翻译评测,它于2002 年由美国TIDES 项目资助设立,大致每年举行一次。NIST 评测为机器翻译相关研究提供了公共的测试基准,为研究机构提供了公平竞争的舞台与充分交流的机会,极大地推动了机器翻译相关技术的发展。
　　与MT Summit 不同,NIST 机器翻译评测研讨会由于讨论内容与NIST 评测密切相关,因此讨论的问题非常具体和集中,参加会议的人关心的问题和讨论的话题也比较一致,深入具体的技术交流让参会者感觉收获颇丰。
　　在今年NIST机器翻译评测中, 总共吸引了36 家单位,41 支队伍(其中包括多家机构的联合) ,主要设置了汉语到英语(Chinese-to-English) 、阿拉伯语到英语(Arabic-to-English) 和乌尔都语到英语(Urdu-to-English ) 三个语言对、训练语料受限(Const rained) 与不受限(Unconst rained) 两种条件的项目评测。今年的参赛单位包括BBN Technologies、USC/ ISI、LW、RWTH、IBM、SRI 等著名研究机构或大学,稍显遗憾的是Google 与Microsof t 两大巨头没有参加本次角逐。在参赛队伍中,来自中国大陆的共有7 家单位,分别是: 中国科学院计算技术研究所(CAS2ICT) 、中国科学院自动化研究所(CAS2IA ) 、富士通研究开发中心有限公司(FRDC) 、哈尔滨工业大学( HIT) 、北京航空航天大学(BUAA) 、南京大学(NJ U) 和中国电子信息产业发展研究院(CCID) ,这也是国内研究机构参加此项评测单位最多的一次。
　　自从2008 年开始,NIST 在每个翻译语言对上开始区分Current Test 与Progress Test 。Current Test 每次评测前都会制作一份测试数据,评测后会公布参考答案以供参赛单位对自己的系统进行分析;而Progress Test 只做一次测试数据,这份数据每年都要使用,并且要求参赛单位不得查看、分析该数据的测试集,每年评测结束后也不公布参考答案。设置此项测试的目的在于: 通过每年翻译同一个测试集,可以方便参赛单位进行纵向对比,更好地了解机器翻译性能是否提高以及考察提高或下降的原因。
　　另外,今年NIST 评测的一个新特点是区分了单系统与系统融合,相应地加入了单系统评测与系统融合评测。而系统融合项目又进一步分为正式系统融合( Formal System Combination) 与非正式系统融合( Informal System Combination) ,其中,正式系统融合任务以参赛队自己的单系统翻译结果作为输入,而非正式系统融合任务以所有参赛系统中自愿提供的单系统翻译结果作为输入。
　　…
　　此次汉英(C2E) 翻译只有Progress Test 项目,没有Current Test 项目。汉英单系统评测的桂冠被USC-ISI/LW联合队以BLEU 值0. 3225 的成绩摘得,第二名是BBN 公司,成绩为BLEU值0.3153。富士通研究开发中心有限公司与中国科学院计算技术研究所分列第6和第7名。另外,在显著性测试中,分列第3到第7的5家单位的新闻(Newswire) 部分差异并不显著,可以认为是第二集团,与第一集团的差距还是很明显的。从翻译模型上看,基于句法的系统已经完全超越了基于短语的系统,USC/ISI的串到短语树、BBN 的串到依存树系统高高占据了前两位,超越了RWTH 与NRC 的基于短语的系统。
　　在汉英Progress Test 的正式系统融合评测中,USC/ISI-LW 的系统融合结果相对于他们排名第一的单系统取得了0.8个BLEU 值的提升,成绩为BLEU值0. 3303 ,在参加正式系统融合评测的5个单位中继续排名第一。而计算技术研究所的系统融合结果相对于其单系统提升了近2.9个BLEU值,成为所有参赛队伍中通过系统融合技术提升幅度最大的一家,在参加正式系统融合项目的5 个单位中排名第二,计算技术研究所也因此应邀在NIST研讨会上做关于系统融合的正式报告。米海涛博士代表计算技术研究所在报告中详细介绍了在评测中所采用的技术,这也是NIST 首次邀请中国大陆的研究单位在研讨会上作正式报告。
　　汉英Progress Test 总成绩的排名中,计算技术研究所取得了第三名的好成绩,这是历年来国内研究机构在该项评测中所取得的最好成绩。
　　阿拉伯语到英语(A2E) 翻译Current Test 中, 剑桥大学以总成绩BLEU 值0.4834 获得A2E 第一;乌尔都语到英语( U2E) 的Current Test 中, USC-ISI/ LW 又以总成绩BLEU 值0. 312 0 获得U2E 的冠军。
　　从上述测试的BL EU 值绝对分数可以看出,目前汉语到英语机器翻译的水平要比阿拉伯语到英语低得多,这反映汉英翻译确实难度更大,也更值得我们进行深入的研究。乌尔都语到英语评测由于训练语料库规模较小,其结果不具备可比性。
　　NIST2009 机器翻译评测研讨会为期两天。第一天,首先由NIST 机器翻译评测组织方对评测概况、研讨会安排进行了介绍。其中有一个环节是:所有参评单位各用30 秒钟时间非常简单地讲一下本单位在评测中效果最好的技术和没有效果的技术,密集的报告让大家印象非常深刻。随后便开始进行单系统报告, 报告单位包括CUED、LIUM/SYSTRAN、App Tek 、UMD、BBN、SYSTRAN 等。下午1 点到3 点还安排了张贴报告,共有11 家单位对自己的NIST 评测系统做作了张贴报告,这些单位包括: AFRL ,CAS-ICT ,CMU-StatXfer ,Columbia ,DCU , DFKI , FB K, FRDC , RWTH , TelAviv, UMD。张贴报告的形式给了大家充分交流的机会,报告与茶歇同时举行使得讨论的气氛更加融洽。
　　研讨会的第二天主要进行了系统融合的报告,报告单位包括IBM、CAS-ICT、ISI/LW、CMU 、BBN、SRI、RWTH 和J HU 等。会议的最后一项是对明年NIST 机器翻译评测计划的讨论,由全体与会人员参加, 分别针对明年的翻译语言对(Language pairs) 、数据(Data) 、任务( Tasks) 、可预测评价( Predictive evaluation) 、人工评测( Human assessments) 以及系统融合评测项目的N-best 提交格式(N-best list s for system combination) 等问题展开了激烈的讨论。大家各抒己见、踊跃发表自己的意见与看法,尽管在有些观点上不能达成一致,但
相信这些意见与看法一定会对下一年NIST 机器翻译评测的成功举行起着巨大的借鉴意义。NIST 主办方最后还宣布了明年NIST 机器翻译评测的大致时间,初步定于2010 年10 月份左右,而随后的研讨会初定于2011 年1 月份左右。
　　有关NIST2009 机器翻译评测的详情见:
　　http://www.itl.nist.gov/iad/mig//tests/mt/2009/

注：转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/第十二届机器翻译峰会和nist2009机器翻译评测简介2

第十二届机器翻译峰会和NIST2009机器翻译评测研讨会简介1

52nlp — Sat, 20 Mar 2010 15:34:07 +0000

　　本文选自《中文信息学报》09年第6期中科院计算所米海涛,赵红梅,刘群老师的《第十二届机器翻译峰会和NIST2009 机器翻译评测研讨会简介》，将分为两部分分别介绍第十二届机器翻译峰会和NIST2009机器翻译评测研讨会。

　　第十二届机器翻译峰会和NIST2009 机器翻译评测研讨会简介
　　　　　　　　　　　作者：米海涛,赵红梅,刘群

　今年第十二届机器翻译峰会(MT Summit XII)和NIST2009 机器翻译评测研讨会(NIST Open MT 2009 Evaluation Workshop) 这两个会议在风景优美的加拿大首府渥太华举行,时间分别为: 8 月26 日到30 日、8 月31 日到9 月1 日。作为参会者,我们给大家简要介绍一下这两个会议的大致情况,希望与读者分享我们的体会和感受。

第十二届机器翻译峰会:
　　MT Summit (机器翻译峰会) 在机器翻译领域有较大的影响力,它历史较长,每两年举行一次,今年已经是第十二届。该会议不仅关注机器翻译研究,而且也关注机器翻译的应用,因此每次参会者中除了有机器翻译研究人员外,还有相当多的政府部门与商业机构的人员。机器翻译峰会分别由亚洲机器翻译协会(AAMT , the Asia2Pacific Association for Machine Translation ) 、欧洲机器翻译协会( EAMT) 、美洲机器翻译协会(AMTA ,the Association for Machine Translation in the Americas) 轮流举办。今年的MT Summit XII 会议由国际机器翻译协会( IAMT ,the International Association for Machine Translation ) 及美洲机器翻译协会(AMTA )共同举办。
　　今年的机器翻译峰会从8 月26 日开始到8 月 30 日结束,为期五天,共有300 人参加了这个会议, 他们有的是机器翻译国际性研究开发机构的科学家和工程开发人员,有的是政府和商业部门的机器翻译用户。会议活动内容很丰富,旨在: 让来自研究、政府、商业部门的与会者借助专家之力,共同探讨怎样利用机器翻译技术来克服语言障碍和数字化鸿沟。
　　我们的总体感觉是: 机器翻译峰会在关注机器翻译研究的同时,更加侧重于关注机器翻译的实际应用,更加贴近机器翻译用户。除了机器翻译产品外,研发人员还带来了其他的语言处理工具在这个会上进行展示。
　　这届机器翻译峰会为期五天的会议主要包括以下几部分内容:
　　1) 机器翻译研究;
　　2) 政府和商业部门的机器翻译应用;
　　3) 关于翻译人员培训和翻译工具使用技术;
　　4) 技术展示: 包括机译系统以及结合机译技术的应用软件的展示;
　　5) 与会议内容相关的专题知识讲座(Tutorials) 。
　　会议第一天安排了专题知识讲座,而随后的27 、28 、29 三天是主会时间,27 日上午全体人员济济一堂,聆听了IAMT 主席Laurie Gerber 的欢迎致辞以及会议概要。上午的报告中比较精彩的有来自Translated. com 的首席执行官Marco Trombetti 所作的“Getting a share of the human translation market with the world’s largest translation memory”,介绍了一个网站是如何通过共享翻译记忆的方式运营的,让人很受启发。另外,本次会议的程序主席之一Pierre Isabelle 先生针对机器翻译目前的研究现况作了题为“MT : The current research landscape”的回顾性报告,有趣的是,他特别提到由于国际上对汉英机器翻译研究的关注,使得越来越多的中国学者投入到这一研究领域中。上午的会议中,来自政府和商业部门的用户非常活跃,提问很积极,讨论也比较热烈。用户提问所站的角度经常是与研究人员明显不同,有些问题在我们研究者看来,初听上去似乎有些幼稚,细想起来又确实是机器翻译用户在使用中所遇到、却往往被研究者所忽略的实际问题,很值得我们深入思考。例如在政府用户报告中,有一篇报告的题目就是“如何读懂一篇机器翻译的文本( How to Read a Machine2Translated Text ) ”,让我们这些研究人员不禁有点哭笑不得,又有点汗颜,如果我们的系统翻译质量能更好一些,也许就不需要这位用户来做这种研究了。这从一个侧面反映了机器翻译确实已经在很多场合有了非常具体的应用,也让人体会到MT Summit 会议与ACL 这样的纯学术会议明显不同之处。
　　从下午开始研讨会分设机器翻译研究、政府用户和商业用户三个分会场。我们参加的是机器翻译研究分会场,本届机器翻译峰会共收录了正式研究论文48 篇,张贴论文27 篇,此次会议口头报告共有21 场,其中有计算技术研究所赵红梅老师等撰写的论文“Introduction to China’s CWMT2008 Machine Translation Evaluation”报告,该报告向与会者简明扼要地介绍了第四届全国机器翻译研讨会(CWMT2008) 评测的情况,使得国际上机器翻译的同行们对中国的机器翻译评
测有了更多的了解。
　　政府用户和商业用户两个分会场也很有意思,这里有很多政府用户或者商业用户的需求分析、使用报告、经验交流、教育培训等等方面的内容,非常丰富多彩,反映了国际上机器翻译应用方方面面的问题,很值得深入去研究和思考。可惜我们分身无术,没有太多去关注这些报告。
　　除了主会以外,本届峰会还设有技术展示( Technology showcase) 以及专题讨论会(Workshop) 。
　　为期半天的技术展示的参展单位包括: Microsoft、Systran 、AAI Group & Advanced Computing Training School 、C2DAC、Language Weaver、Basic Basis Technology 等多家著名企业,他们展示了各自的机器翻译应用系统和其他自然语言处理软件。参加展示的公司虽然不算很多,不过展示的内容都非常精彩,很有意思。
　　专题讨论会共分7 场,其中机器翻译峰会第三届专利翻译研讨会( 3rd Workshop on Patent Translation) 吸引了我们更多的注意。该讨论会还邀请了来自中国国家知识产权局的王丹作了题为“SIPO’s Effort s On Improving Quality of Chinese-English Patent Machine Translation Service”的报告,介绍了知识产权局在提高汉英机器翻译质量方面所做的工作。随着机器翻译研究和技术的不断发展,机器翻译在专业翻译方面的优势日渐凸显,专利翻译是机器翻译技术应用的一个非常好的突破点,不论在欧洲、日本,还是中国,专利机器翻译的市场都是被一致看好的。
　　本届机器翻译峰会确定了下一届机器翻译峰会(MT summit XIII) 将于2011 年在中国厦门召开, 该峰会的主办方是亚太机器翻译协会(AAMT) ,承办方是厦门大学。

注：转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/第十二届机器翻译峰会和nist2009机器翻译评测简介1

机器翻译：多一点宽容

52nlp — Wed, 10 Feb 2010 11:05:14 +0000

　　这两天“我爱自然语言处理”的一些访问来源于CSDN的推介，于是查了一下，发现与CSDN的一则新闻有关：《Google研发手机翻译软件人类有望无需学外语》，里面除了原始新闻的简单摘译外，附加了Franz Och的介绍——引用了《统计机器翻译英雄谱一：Franz Josef Och》中的部分内容。
　　“东芝开发智能手机翻译软件”刚过去不久，这次又轮到Google，看来移动终端的争夺是大势所趋，估计过不了多久微软也会抛出一个基于Windows CE开发的手机翻译软件。不过无论这些大企业如何宣传，我对机器翻译尤其是统计机器翻译的态度依然是：完全智能化的翻译是远大目标，是人工智能的终极体现，但目前机器翻译还不能取代人，只能辅助人。
　　Google在线翻译是统计机器翻译的一个典型应用，其翻译质量在目前的机器翻译中的算是比较不错的了，但即使如此，如果指望Google翻译来完成翻译工作，除非完全不懂那门外语，否则肯定是脑子锈透了。多数人用Google翻译主要是协助自己工作，机助人译大概是目前机器翻译所能发挥的最大作用了，所以虽然常常见到有些人拿“古诗词”来考验Google，甚至一句话在Google翻译中跑一圈，然后再拿结果来嘲笑“Google翻译”，但是嘲笑归嘲笑，我估计他们过后还是依然用Google。
　　回头再来看这则新闻，事实上英文原始新闻的题目是《Google leaps language barrier with translator phone》，也许CSDN的编辑为了吸引眼球，就加了后半句“人类有望无需学外语”，不过与英文原文对比起来，CSDN的这则新闻实在有些简化，因此所表达的意思估计重点就成了“人类有望无需学外语”，所以评论多以批评、嘲讽为主。读了一下英文原文，发现Franz Och主要强调的是以下几点：
　　1）“We think speech-to-speech translation should be possible and work reasonably well in a few years’ time”
　　2) Clearly, for it to work smoothly, you need a combination of high-accuracy machine translation and high-accuracy voice recognition, and that’s what we’re working on.
　　3) Although automatic text translators are now reasonably effective, voice recognition has proved more challenging.
　　Franz Och主要表达了未来几年手机上语音到语音自动翻译的可能性，并强调了目前文本机器翻译reasonably effective，而挑战再于语音识别。我觉得“reasonably effective”是值得推敲的，目前统计机器翻译在一些受限领域的翻译是可以达到“reasonably effective”的。另外，虽然Google翻译目前对于汉语和英语的翻译结果不是很理想，但是在那些区别相对较小的语言对里，如英语和法语，统计机器翻译的效果也许要好一些，有可能“reasonably effective”。恰好，我看到了英文原文的一条评论：

Google Translate between English, French, German, Spanish is absolutely amazingly good. Anyone criticizing it has not tried it recently. The reason why those translations are now very good is because Google has enormous amounts of professionally translated texts from the European Union and the United Nations, where by just adding more and more examples to Google’s database, the translations become better and better.

Also, Google can use their search technology to analyse the probable context of every bit of translation. Thus increasing the probable quality.
…

　　虽然那里面的评论不乏一些批评，但是这些批评往往不是无端指责和嘲讽，更多的时候有理有据，甚至写得很长。这条评论很长，对“reasonably effective”最有利的佐证就是“Google Translate between English, French, German, Spanish is absolutely amazingly good.”。我曾经利用Moses及欧洲议会平行语料库搭建过法英统计机器翻译平台，虽然不懂法语，但是试着翻译一些法语句子，印象深刻的就是翻译的英文句子可读性比较好。而对于Google来说，其平行数据的规模及处理能力非常人能及，所以Franz Och说Google 翻译“reasonably effective”还是有一定依据的。
　　机器翻译的“巴别塔(Tower of Babel)”不是一朝一夕建成的，对于Franz Och及Google翻译，求全责备不太应该，我们不能指望“这个软件如果研发成功，将有望改变全球说各种不同语言（据估计目前世界在使用的语言有6000 多种）的人之间的沟通方式，人们也不再需要为了与人口头交流而去学习外语”，只是希望在机器翻译这条路上，Franz Och及Google能带给我们更多的惊喜和技术体验；而对于CSDN这则机器翻译新闻，大可以一笑了之。

注：原创文章，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/机器翻译多一点宽容

机器翻译新闻一则

52nlp — Wed, 30 Dec 2009 13:25:56 +0000

　　今天在新浪科技上看到了“东芝开发智能手机英汉日翻译软件”这则新闻，比较感兴趣！虽然“统计机器翻译”这些年如火如荼，但是在商业化的道路上似乎还是老大哥“基于规则的机器翻译”更加成熟。比较感兴趣的是东芝这款产品是如何解决统计机器翻译所占的的资源问题，即使在PC上，SMT所占的资源有时都让人咋舌，所以感觉SMT更适合Google这类在线翻译模式，不知东芝是如何在手机上解决这个问题的。
　　另外，我对文中这段话有点疑问，为什么在三个方向上采用统计机器翻译？又在另外三个方向上采用基于规则的机器翻译？　　　　

　　PC版翻译软件同时使用两种方法，但手机因缺乏足够的处理功能来运行两种方法，统计机器翻译用于英汉互译和汉译日；基于规则机器翻译用于其它。

　　　　　　　　东芝开发智能手机英汉日翻译软件

　　CNET科技资讯网 12月29日国际报道：东芝开发一款三种语言翻译软件，支持语音识别与合成，因该款软件结构紧凑、属于轻量级，可安装在手机中。与现有应用软件的不同之处在于，该软件不是将任务交给网络上功能强大的服务器处理，而是在手机内部执行任务。这样，用户在海外使用时就能更快运行翻译软件，避免潜在的高昂数据漫游费。

　　该软件是东芝在日本销售的PC版翻译软件的瘦身版，可以在日语、英语和汉语之间自由转换。在使用该款软件时，应先使用语音识别决定语言及所说的内容。该软件将采用统计机器翻译(Statistical Machine Translation)和基于规则机器翻译(rule-based machine translation)这两种翻译方法的其中一种进行句子解析，并将之分拆为基本结构后进行翻译，由语音合成引擎输出翻译结果。

　　统计机器翻译根据概率和词序决定句子构造；基于规则机器翻译利用数百个句子和短语的资料遴选出其意思。

　　PC版翻译软件同时使用两种方法，但手机因缺乏足够的处理功能来运行两种方法，统计机器翻译用于英汉互译和汉译日；基于规则机器翻译用于其它。

　　该软件在测试过程中与所有语音识别系统一样容易错误识别部分单词，但整体效果不错。有时该软件不仅能够识别问题，还可以成功翻译句子。

　　东芝在开发该款软件时面临多项挑战。东芝在其TG01智能手机上演示该款翻译软件，该手机采用1GHz高通处理器，运行Windows Mobile操作系统。

原文转自：http://tech.sina.com.cn/roll/2009-12-29/09131193701.shtml

注：转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/机器翻译新闻一则

Moses近期动态及其他

52nlp — Sat, 12 Dec 2009 14:49:53 +0000

　　由于工作的关系，有一段时间没有仔细关注过统计机器翻译开源系统Moses了。前些天看到哈工大郎君师兄的文章《钱老与Moses》以及近段时间有读者询问一些和Moses相关的问题，就又回到Moses的主页和它的邮件列表中找寻一些感觉。
　　近期关于Moses最大的改进当属它加入了对层次短语模型（hierarchical phrase-based model）及基于句法的模型（syntax-based model）的支持，这两个模型被统称为tree-based model，而与之相应的解码算法chart decoding也相应的在Moses中实现，这些大概在10月下旬左右完成的。12月8日，Moses的主持者Philipp Koehn在邮件列表中发了一个通知“Hierarchical and syntax-based decoding in Moses”，除了可以作为一个小的总结外，同时也提供了一个如何训练和使用tree-based model的tutorial：

Hi everybody,

as you may know, Moses now also supports hierarchical and syntax-based models: translation models that are based on a context-free grammar formalism and that allow the use of syntactic information at the source and/or target.

The tree-based model and chart decoding code in Moses has been available for a while, but there is now also a tutorial:

http://www.statmt.org/moses/?n=Moses.SyntaxTutorial
…

　　这应该算得上是Moses发展过程中的一个里程碑，虽然层次短语模型方面存在Joshua这样的开源系统，虽然基于句法的模型方面也有SAMT系统，但是Moses无疑是第一个集“phrase-based, hierarchical, and syntax-based translation models”为一身的开源统计机器翻译系统，这属于Moses的成功，同时也属于Moses社区的成功！
　　回头再说一下郎君师兄的《钱老与Moses》，文章写得很好，尤其关于创新这方面的思考值得回味，但是我对于郎君师兄的结论稍有一点不同的看法：

　　…
　　通过这些，我知道了Moses是在每天进步的，而且相关的维护人员也是热情高涨的在从事着相关的工作。仔细观察这两个邮件列表，我发现全世界很多国家的人在一起参与Moses的日常更新，不管是Bug的提交和发现，还是代码的SVN Checkin。
　　Moses的这种共享，使得我这个从来没有碰过机器翻译的外行居然在短短的时间里实现了Moses的训练、测试、单步跟踪等工程实践上的事情，同时 Moses开发时的良好架构和丰富标准注释使得我能采用Doxygen来获得完美的代码文档。我很钦佩Moses的创建者和维护者们。
　　一时又想到了上面提到的钱老当年的老师卡门的那个对话：卡门教授，你把这么好的思想都讲出来了，就不怕别人超过你？’卡门说：‘我不怕，等他赶上我这个想法，我又跑到前面老远去了。’
　　我想创新就是Moses这样吧。特别推荐搞NLP但是不做MT的朋友都看看Mose的方方面面。肯定会有巨大收获的。
　

　　最后这几段关于Moses写得非常不错，但唯独“创新就是Moses吧”我不敢苟同，借用《大教堂和市集》里的一段话：

　　我不这样想，我承认Linus是一个极好的黑客(我们有多少人能够做出一个完整的高质量的操作系统内核?)，但是Linux并不是一个令人敬畏的概念上的飞跃，Linus不是(至少还不曾是)象Richard stallman或James Gosling一样的创新天才，在我看来，Linus更象一个工程天才，具有避免错误和开发失败的第六感觉，掌握了发现从A点到B点代价最小的路径的决窍，确实，Linux的整个设计受益于这个特质，并反映出Linus的本质上保守和简化设计的方法。

　　同样，我也不这样想，我承认Koehn是一个极好的推动统计机器翻译发展的学者，但是Moses并不是一个令人敬畏的概念上的飞跃，在统计机器翻译领域，Koehn不是（至少还不曾是）像Brown，Och这样的创新天才，但是更像一个工程天才，他在早期推出的Pharaoh解码器虽然没有开源，但是其规范的说明文档给了很多统计机器翻译“门外汉”足够的启示，之后的升级版本Moses，虽然主要的代码部分并非他个人所写，但是作为Moses开源系统的领导者，他很好的完成了自己“守门人”的角色，让Moses在市集模式及开源社区的支持下茁壮成长。
　　郎君师兄“特别推荐搞NLP但是不做MT的朋友都看看Mose的方方面面。肯定会有巨大收获的”，我也推荐读者朋友关注一下Moses，不过自然语言处理国外优秀的开源工具还有很多，有时不得不感慨：搞自然语言处理，生在美国最幸福；搞统计机器翻译，生在欧洲最开心。为什么是欧洲呢？因为他们不仅有EuroMatrix，还有EuroMatrixplus。

注：原创文章，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/moses-recent-developments-and-others

第五届全国机器翻译研讨会后续

52nlp — Tue, 27 Oct 2009 12:13:04 +0000

　　第五届全国机器翻译研讨会已于10月16日至17日在南京大学举行完毕，虽未亲自参加整个会议，但是还是比较关注这次会议的一些情况。从师弟那里得知，明年由于COLING 2010在北京举行，将不再举办机器翻译研讨会。而后年由于第十三届机器翻译峰会将在厦门举行，第六届全国机器翻译研讨会将紧随机器翻译峰会在厦门举办。
　　目前会议的paper和ppt已经可以下载了，具体见：
　　http://www.icip.org.cn/cwmt2009/program.html
　　特别值得关注的是，基于层次短语模型的开源解码器Joshua的作者Zhifei Li做了一场关于“Training and Inference Methods over Translation Forest”的学术讲座，据说非常不错，大家可以看看PPT。作者目前在约翰霍普金斯大学著名的CLSP实验室（Center for Language and Speech Processing）攻读博士学位。
　　另外科学网上李斌博士的博客上写了一篇关于本届会议的观感，写得简洁明了，最后就在这里转载了！

　　　　　　　全国第五届机器翻译会议观感

　　转眼之间，南京大学承办的第五届机器翻译会议闭幕了。这次会议汇聚了国内主要的机器翻译研究机构的大牛们，会议报告和讨论都十分有激情。会议上，参与今年机器翻译评测的各机构讨论总结了机器翻译及评测的若干问题。我自己并不怎么搞机器翻译，只能就自己的理解总结如下：
　　1、国内自己举办的评测，直接推动了国内同行的交流和共同进步。由于评测方是中国人，更能体会评测中存在的问题，这样能更好地敢追甚至超越国际同行。
　　2、统计机器翻译方法占据了绝对主流。包括SYSTRAN，虽然主干是几十年来一贯的规则系统，但也增加了很多统计方法，优化翻译结果。
　　3、MOSES成为基本平台。酷似SIGHAN的比赛，各支参赛队都用上了摩西系统（http://www.statmt.org/moses/），或直接利用，或修改或重写代码。几天的报告下来，摩西成了最高频的词语。连董振东老师都评价道：你们说参加评测的哪个系统最成功？我看是摩西。
　　4、语言知识的利用进一步加强。句法分析的引入，使得SMT效果有了一定的提升。句法信息，作为一种结构化的启发性知识，应该可以提升效果。句法分析的质量对提升度也基本成正比。那么下一步需要什么样的语言知识，成为与会者关注的话题。毕竟这不是一个简单的问题，google的大牛就说，SMT中的语言知识是有害的。
　　5、机器翻译的产学研一体化还有很长的路要走。由于目前的机器翻译质量很不理想，难以应用到直接的翻译领域，但作为辅助翻译还是有市场的。沈阳的格微软件就推出了国内第一款辅助机译系统。
　　6、机器翻译遇到严冬还是春天？机译系统的低性能，多年来的慢进展，使得国家投入也萎靡不振。即使奥巴马政府的白皮书支持美国的MT，也没办法让SMT在十年内达到全新的高度。美国的聪明人很多，语言学家也很多，机器翻译的真正提高，目前还是靠语言资源的增加（比如谷歌的海量数据）。没有新的语言理论，机器翻译不管投入多少钱，不管社会多需要，都不可能达到较为理想的地步。所以，我同意“没钱不好做事情”，但对“有钱就一定可以”持保留意见。
　　好了，从语言和计算的角度谈谈自己的看法。我关心的是可计算的语言知识的构建，现有的语言知识库，大都处于唯物主义的范畴，几乎不顾及语言的主观性，所以是僵化的系统。这样的知识并不是语言知识，而是世界知识或常识。语言知识是什么，就拿汉语的语气词来说，“呢”有多种用法，这些用法与什么客观的东西都不相干，而是表达的说话人的不同意图、认识。不从根本上重建基于认知的心理的语言知识库，就没法给机器翻译或其他的NLP带来真正的帮助。

原文链接：
http://www.sciencenet.cn/m/user_content.aspx?id=263200

　　读者有兴趣的话也可以对比一下《第四届机器翻译研讨会感受》！

注：转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/cwmt2009-follow-up

统计机器翻译文献阅读指南

52nlp — Wed, 21 Oct 2009 15:42:45 +0000

　　在《如何学习自然语言处理》中，关于阅读文献，nlpers的作者曾计划在之后的博客中列出一些领域的“必读（must reads”)文献，这的确是一个不错的对于初学读者有帮助的方法，不过nlpers的这个系列没能写出很多领域。
　　其实网络上关于自然语言处理的很多领域或者方向都有一些热心人整理了很多有用的资料，今天就从自己比较熟悉的统计机器翻译说起，这里曾经写过一篇《统计机器翻译中的几篇经典文献》，但是即使是统计机器翻译，自己所学也很有限，对于整个领域的经典文献，还没有发言权。不过最近刚好发现了David Kauchak这篇成于2005年冬天的“Statistical Machine Translation Tutorial Reading”，很好的总结了自90年代初统计机器翻译诞生至2005年的一些经典文献，这里就将其转载并部分附上一点自己的心得了。

Statistical Machine Translation Tutorial Reading

　　The following is a list of papers that I think are worth reading for our discussion of machine translation. I’ve tried to give a short blurb about each of the papers to put them in context. I’ve included a number of papers that I marked “OPTIONAL” that I think are interesting, but are either supplementary or the material is more or less covered in the other papers.
　　If anyone would like more information on a particular topic or would like to discuss any of these papers, feel free to e-mail me　dkauchakcs ucsd edu

Part 1 (Jan. 19)
A Statistical MT Tutorial Workbook. Kevin Knight. 1999.
　　Very good introduction to word-based statistical machine translation.Written in an informal, understandable, tutorial oriented style.
　　这是统计机器翻译界教父级人物Kevin Knight在99年约翰霍普金斯大学夏季机器翻译研讨班上的讲座，毫不夸张的说，这是我读过最让人愉快的统计机器翻译文献，也许不是正式文献的缘故，Kevin Knight甚至在文中开起了玩笑！但是他也没有摆什么架子，在文中开头便说“I know this looks like a thick workbook, but if you take a day to work through it, you will know almost as much about statistical machine translation as anybody!”。事实上，即使是对于统计机器翻译没有任何概念的入门读者，如果一开始便仔细研究这份文档，就会少走很多弯路。关于这份文档的来源，可以看看Kevin Knight的这段话，很有意思：
　　“At the time, I was trying to align English sound sequences with Japanese sound sequences, and I knew that EM could do it for me. It was hard, though. I spent two years reading Brown et al 93. When I finally got it to work, I was pretty fired up, and I told David Yarowsky. He said, “EM is the answer to all the world’s problems.” Wow! I figured everybody should know about it, so I wrote “A Statistical MT Tutorial Workbook”.”
　　这段话至少告诉了我一点：Brown93很难！我读得头都大了，还是感觉没有抓住本质，不过既然Kevin Knight都花了两年时间弄懂它，我为什么又不能多花点时间呢？不过幸好他老人家写了这篇 Tutorial Workbook，让我明白了EM不但是Brown93的灵魂，也是the answer to all the world’s problems。

Automating Knowledge Acquisition for Machine Translation.Kevin Knight. 1997.
　　(OPTIONAL) Another tutorial oriented paper that steps through how one can learn from bilingual data. Also introduces a number of important concepts for MT.
　　（可选）我也没仔细读过，这里就不予评论了。

Foundations of Statistical NLP,chapter 13. Manning and Schutze. 1999.
　　(OPTIONAL) Must be accessed from UCSD. Overview of statistical MT. Spends a lot of time on sentence and word alignment of bilingual data.
　　（可选）《统计自然语言处理基础》第13章，主要概述了统计机器翻译和重点讲了统计对齐（句对齐和词对齐）。

Foundations of Statistical NLP, chapter 6. Manning and Schutze. 1999.
　　(OPTIONAL) Must be accessed from UCSD. Discusses n-gram language modeling. Language modeling is crucial for SMT and many other natural language applications. I won’t spend much time discussing language modeling, but for those that are interested this is a good introduction.
　　（可选）《统计自然语言处理基础》第６章，主要讲了n-gram语言模型，讲得很好，读者有条件的话应该是必读了！

Part 2 (Jan. 26)
Word models:
　　基于词的统计翻译模型，虽已不是主流，但是却能了解到统计机器翻译的本质，是根基。这方面，奠基之作当属Brown90、Brown93了，这里未提及Brown90，建议读者也能读一下。

The Mathematics of Statistical Machine Translation: Parameter Estimation. P. F. Brown, S. A. Della Pietra, V. J. Della Pietra and R.L. Mercer. 1993.
　　(OPTIONAL) All you ever wanted to know about word level models. Describes IBM models 1-5 and parameter estimation for these models. It’s about 50 pages and contains a lot of material for the interested reader.
　　（可选）经典的Brown93，完整的描述了IBM词模型1-5及如何对这些模型进行参数估计。不知道作者为什么将其列为可选文献，也许是觉得对于多数读者来说都有点难度，的确里面到处都是数学。如果读者觉得难得话，可以先好好看看”A Statistical MT Tutorial Workbook”。

Word model decoding:
　　关于词模型解码的下面这两篇文献，我没有读过，不予评论了。

Decoding Algorithm in Statistical Machine Translation.Ye-Yi Wand and Alex Waibel. 1997.
　　Early paper discussing decoding of IBM model 2. The paper
provides a fairly good introduction to word-level decoding
including multi-stack search (i.e. multiple beams) and rest
cost estimation (heuristic functions).

An Efficient A* Search Algorithm for Statistical Machine Translation.Franz Josef Och, Nicola Ueffing, Hermann Ney. 2001.
　　(OPTIONAL) One of many papers on decoding with word-based SMT. They discuss the basic idea of viewing decoding as state space search and provide one method for doing this. They describe decoding for Model 3 and suggest a few different heuristics that are admissible, leading to few search errors.

Phrase based statistical MT:
　　基于短语的统计机器翻译，多年来一直占据着主流的位置，虽然现在有点岌岌可危了。
　　 Statistical Phrase-Based Translation.Philipp Koehn, Franz Jasof Och and Daniel Marcu. 2003.
　　Good, short overview of phrased based systems. If you want more details, see the paper below.
　　两位统计机器翻译的大牛Philipp Koehn与Franz Jasof Och当年在南加州大学信息科学研究所(ISI/USC)的合著文章，对于当年刚刚开始的基于短语的统计机器翻译系统进行了描述。如果想了解更多的细节，可以参考下面这篇文章。

The Alignment Template Approach to Statistical Machine Translation.Franz Josef Och and Hermann Ney. 2004.
　　(OPTIONAL) This is a journal paper discussing one phrase based statistical system including decoding. This is more or less the system used at ISI and is probably the best current system (though syntax based systems my beat these in the next few years). Requires acrobat 5 and to be at UCSD.
　　（可选）这是当年04年发表在”Computational Linguistics”的杂志文章，当然份量十足并且详细很多了。

Part 3 (Feb. 2)
Phrase-based decoding:
　　关于基于短语的统计机器翻译解码问题，See the previous paper.

Syntax based translation:
　　基于句法的统计机器翻译，请允许我保持沉默！

What’s in a Translation Rule? Galley, Hopkins, Knight and Marcu. 2004.
　　This is the current system being investigated at ISI and the hope is that these syntax based systems will perform better than phrase based systems.The paper is a bit tough to read since it’s a conference paper.

A Syntax-Based Statistical Translation Model. Yamada and Knight. 2001.
　　(OPTIONAL) Predecessor model to Galley et al., but similar.

Syntax based decoding:
Foundations of Statistical NLP, chapter 12. Manning and Schutze. 1999.
　　Must be on campus. This is a chapter on parsing (not actually decoding) However, since the above rules are very similar to PCFGs, then decoding is very similar to parsing… just with more complications.

A Decoder for Syntax-Based Statistical MT. Kenji Yamada and Kevin Knight. 2001.
　　(OPTIONAL) Decoder for the above Yamada and Knight model.

Part 4 (Feb. 9)
Discriminative Training:
　　判别模型方面，一篇是将最大熵模型引入到统计机器翻译的经典之作，另一篇用于Reranking。

Discriminative Training and Maximum Entropy Models for Statistical Machine Translation.Och and Ney. 2002.
　　Learning how the best models for combining the different models (traslation model, language model, etc.) using maximum entropy parameter estimation.This line of research is still very important and my be interesting to many of you since it’s very machine learningy.

Discriminative Reranking for Machine Translation. Shen, Sarkar and Och. 2004.
　　(OPTIONAL) Given a ranked output of possible translations from the translation system, this paper uses the perceptron algorithm to learn a reranking of the sentences to improves the top translation.

MT Evaluation:
　　机器翻译自动评测，BLEU几乎成了标准！

BLEU: A Method for Automatic Evaluation of Machine Translation. Papineni, Roukos, Ward and Zhu. 2001.
　　Foundational method for evaluating MT methods and still used currently.

　　以上除了《统计自然语言处理基础》外的文献都给出了下载链接，我试了一下，都可以直接下载。另外关于2005至今的统计机器翻译文献，蒋伟(David Chiang)博士的“Hierarchical Phrase-Based Translation”绝对算得上是经典，至于其他的值得阅读的文献，欢迎读者补充！

注：转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/statistical-machine-translation-tutorial-reading