我爱自然语言处理 » 随笔

天佑安康，天佑父老乡亲！

52nlp — Sun, 18 Jul 2010 16:05:53 +0000

　　还有一尺，水就要到达家里的二楼了，父亲还在安慰我没事~~虽然从小生活在汉江边，见惯了每年夏天的大小洪水，但是真正的大洪水，我却并没有多少亲历：　　1983年7月安康遭遇百年不遇的特大洪水，我刚出生三个月，家里的老房子上面还过船，但是我没有任何印记；　　2005年安康10月大洪水，我在哈尔滨，等父亲告诉我的时候水已退了，那个时候的最大水位就是还有一尺水就要到家里二楼，幸好水没有再涨；　　前天给家里打电话，父母还告诉我老家没怎么下雨，等今天知道消息时，水已经到家门口了！刚刚给父亲打电话，水平了2005年的记录，不过还在慢慢涨，但是他还在安慰我说没事，让我早点休息！　　这个时候最应该陪在父母身边的是我，可是自己却远隔千里之外，只能通过一部手机还有这个网络搜寻着任何可能的消息！　　天佑安康，天佑父老乡亲！挺过今晚，一切都会好的！相关文章:博客新家，开始新的旅程！ Google’s Python Class – SOS “知行合一”与自然语言处理 “我爱自然语言处理”PageRank再次更新 5.12一周年，愿逝者安息！单词也疯狂——漂亮的“单词云” 关于计算语言学的一首词祝大家牛年一帆风顺赞一下host2ez Google’s Python Class SOS 续 –下载相关文章:

自然语言处理与世界杯

52nlp — Wed, 30 Jun 2010 13:00:36 +0000

　　自然语言处理与世界杯似乎没啥关系，不过今晚世界杯没有比赛了，我也可以回来照顾一下52nlp了。但是这两者的确没什么关系，我简单的Google了一下“自然语言处理 & 世界杯”，没有什么好的材料，就先从读者评论说起吧。
　　读者Brishen评论：“可不可以对网络上赛前的言论做sentiment analysis来预测一下比赛结果呢？” 估计Brishen对Sentiment analysis（情感分析）有比较深的认识，我个人没有任何这方面的经验，不过感觉是一个不错的方向，不仅仅对于世界杯。如果读者有这方面的经验，欢迎在这里讨论。
　　聚类在自然语言处理中也有比较重要的应用，譬如词的聚类或者文本聚类。章成志老师近期写了一篇《世界杯比赛规则与数据聚类》，大概是与世界杯相关的最具科普性的一篇博文了，和自然语言处理也能扯点关系，以下全文转载自章成志老师的博客。

　　　　　　　　　世界杯比赛规则与数据聚类

　　应该有很多博友像我一样，这段时间可能要花些时间看世界杯。有些博友还会发些心得。俺就从数据聚类的角度，来对世界杯比赛规则进行“重认识”一下，呵呵。

　　先交代下基础背景知识，内行直接跳过本段，呵呵。数据聚类包括划分聚类、层次聚类等、基于模型的聚类等基本模式。划分聚类中最经典的方法就是K-均值聚类，需要事先给定初始点和聚类类目数。层次聚类中最常用的是HAC聚类，事先两两求出相似度，将最相似的或者最不相似的连接起来呢，然后再求次相似的，一直到所有点的都被连接为止。近年来，基于模型的聚类越来越火，可以将基于竞争的聚类方法划入这个类别。07年Frey提出的AP聚类方法更是被大量引用。

　　再结合数据聚类，说下世界杯比赛规则。

　　1. 首先，小组划分，是做基于约束的划分聚类：

　　(1) 经过预选赛入围的32只球队，被划分为4个档次，其中第一档中的8支球队作为种子队（32个数据，8个聚类类目，将以往世界排名作为权重，选择初始聚类中心，当然东道主特殊，直接作为种子）；

　　(2) 剩余球队按照其档次和所在洲的约束，进行抽签划分到相应的小组中（24个数据按照一定的规则约束后，随机分配到每个聚类中心的所在组中）；

　　 2. 然后，正式比赛，是做层次聚类：

　　(1) 小组确定后，每组四个对，两两求“相似度”，就是说两两打一场，胜的权重给3，平了给1，输了给0，每小组的6场赛事结束后，得到每个队的总体权重（当然了，有可能还要考虑净胜球，相互战绩啥的），那么小组中排名前2的队作为连接点参与下一个层次的聚类。（这里，两两求相似度，完全是基于竞争的，整个比赛阶段基于竞争的层次聚类）；

　　(2) 淘汰赛阶段，直接竞争，做二分聚类，胜的参加下一轮聚类；

　　(3) 直到最后两支最牛的打决赛，冠军队成为了根节点。

　　 3. 聚类结束，参数重新分配，准备4年后的聚类，呵呵。

　　所以，世界杯做了大量的约束，注意比赛的观赏性，用了比较简单公平的方法，在较短时间内确定聚类层次关系。

　　如果是动物界打比赛，可能又是另一个场景，完全自由随机的打，最强的完全有可能因为体力不支，提早被淘汰而成不了冠军。

　　以上仅供娱乐参考，推理和比喻不当地方，请博友指出，谢谢。

　　关于自然语言处理与世界杯，不知道读者朋友还能想到些什么？

注：转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/自然语言处理与世界杯

足球依然是圆的！

52nlp — Sat, 22 May 2010 20:43:18 +0000

　　作为国米的死忠和穆里尼奥的追随者，这一刻，很幸福！相关文章:胡正，StarDict，TheSourceCodeOfMyWorld Google’s Python Class – SOS 祝福大家虎年吉祥如意单词也疯狂——漂亮的“单词云” 52nlp博客恢复 “大教堂与市集”摘要关于计算语言学的一首词机器翻译与微软对联赞一下host2ez 天佑安康，天佑父老乡亲！相关文章:

Google’s Python Class SOS 续 –下载

52nlp — Wed, 14 Apr 2010 12:12:29 +0000

　　这是”Google’s Python Class SOS“的延续，但是首先得感谢“一盆仙人球”和“wibe”两位热心读者——”仙人球“兄提供视频，而wibe则提供emule共享——以下是Google’s Python Class视频的emule下载地址，请注意wibe工作日8点至下午5点在线，目前只有这一个种子，请读者下载后尽量提供给其他人继续下载，这样可以持续维持这个课程的下载了：
　　1.1 Introduction, strings.flv;
　　1.2 Lists and sorting.flv;
　　1.3 Dicts and files.flv;
　　2.1 Regular expr.flv;
　　2.2 Utilities.flv;
　　2.3 Utilities urllib.flv
　　2.4 Conclusions .flv;
　　如果下载完毕，可以在Google上找一个flv player用来播放这些课程。

　　另外，中午我搜索了一下，发现早在3月23号就有热心人提供这个视频的下载：《提供google python视频国内下载》：

下载地址：
ftp://mail.xplore.cn/

http://selboo.com.cn/book/video/googlepython（感谢selboo分享）

目前限制为单线程。暂定保留10天。

视频文件名称我没有修改，下面是一个简单对应表：
tKTZoB2Vjuk.flv –>Day 1 Part 1
EPYupizJYQI.flv –>Day 1 Part 2
haycL41dAhg.flv –>Day 1 Part 3
kWyoYtvJpe4.flv –>Day 2 Part 1
uKZ8GBKmeDM.flv –>Day 2 Part 2
Nn2KQmVF5Og.flv –>Day 2 Part 3
IcteAbMC1Ok.flv –>Day 2 Part 4

　　试了一下，发现第一个ftp链接已失效，而第二个是其的分流镜像，目前仍可以下载，注意有下载线程限制，请大家慢慢下载，否则可能导致这个下载链接的失效。不过稍微多说一点，建议有需求的读者采用emule共享的方式下载，这样可以维持一个长久的下载链接，有利于后来者。

　　最后感谢私下里给我邮件愿意提供视频的读者，我个人没有这个需求，但是还是非常非常感谢！

注：原创文章，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/googles-python-class-sos-续-下载

Google’s Python Class – SOS

52nlp — Mon, 12 Apr 2010 11:49:27 +0000

　　这两天好心的读者“一盆仙人球”在”Google’s Python Class“留言，除了称赞这门python课程不错之外，更愿意提供Google’s Python Class的全部视频教程，总共有1G，不知这里是否有读者愿意提供ftp共享给大家，如果有，可以联系我或者留言，非常感谢！相关文章:Google’s Python Class Google’s Python Class SOS 续 –下载 Beautiful Data-统计语言模型的应用三：分词8 Google、网易、百度在线翻译调查及分析 Beautiful Data-统计语言模型的应用三：分词3 Beautiful Data-统计语言模型的应用三：分词7 Beautiful Data-统计语言模型的应用三：分词4 Beautiful Data-统计语言模型的应用三：分词6 “我爱自然语言处理”阶段性总结 “眼泪”与“门外汉”——向自然语言处理的大牛们学习相关文章:

愚人节快乐

52nlp — Thu, 01 Apr 2010 12:36:04 +0000

　　首先非常抱歉，尤其对于那些信以为真的读者！“我爱自然语言处理”停止更新——只是愚人节的一个小把戏！
　　其实我不善于玩小把戏，今天还被同事骗了！之所以玩了这个小把戏，是因为昨晚在Google Reader上突然看到了国外一个知名博客ProBlogger（无法访问）的文章，说ProBlogger被Google收购，我非常吃惊并信以为真，不过当我读完全文时，突然反应过来，这只是一个“April Fools Joke”。相信很多读者看到上篇文章时的反映会很相似：吃惊，继而会心一笑！
　　受ProBlogger的启发，我决定也玩一个“April Fools Joke”。要玩就要煞有其事，所以很认真的写了“52nlp停止更新”，我想文章之所以像，也确实事出有因！我不能排除“Google被封，52nlp停止”的可能性，其实在Google中文搜索搬至香港的时刻，我心底里的一个声音就是“其实我只需要一个公正的搜索引擎罢了”，这只是一个草民的最低要求，希望不要被抹杀！
　　上篇文章带来反映的有点出乎我的意料，感觉比预想的严重一些！虽然评论中有读者第一时间反映过来今天是愚人节，但还是半信半疑！而水木社区自然语言处理版主也很快转载了这篇文章，并表示惋惜，我个人都觉得有点不好意思了！还有几个读者发来邮件慰问，感动的同时，特别觉得对不住所有信以为真的读者，非常抱歉，请你们原谅！
　　上篇文章的所有的读者评论我就不回复了！谢谢大家对52nlp的支持！祝大家愚人节快乐！

注：原创文章，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/愚人节快乐

“我爱自然语言处理”停止更新

52nlp — Wed, 31 Mar 2010 16:00:26 +0000

　　这是52nlp的第200篇文章，很吉利的数字，正好用来宣布这个消息：因种种原因，决定停止更新“我爱自然语言处理”。
　　自2008年12月19日建立“我爱自然语言处理”以来，这个博客从无到有，从小到大，一步一步的在成长。52nlp目前发展势头良好，包括将近800个读者订阅，平时200左右的独立IP访问数（周末略低），由于自然语言处理领域在国内属于小众领域，因此对于目前的访问量，我个人已经很知足了。
　　以下是Google Analytics近一个月的访问统计（2月28日~3月30日）：
1、访问情况

2、访问人数

3、流量来源

4、搜索引擎分布

　　可以看出，52nlp的访问量中除了很多老读者的回访外，很大一部分来自于Google。这里不谈Google中文搜索搬至香港的其他因素，更不想引起争论，仅从Google搜索的公正性或者稳定性上，我还是投Google一票。
　　因为做自然语言处理的博客，所以我比较关注“自然语言处理”在两大搜索引擎的排名情况，曾经亲见百度硬生生的将52nlp从第一页一下子踢到了第一百页之外，并且持续了几个月，前两天才恢复，这样突然的变故我很难想清楚原因，只觉得的百度搜索的变化太大。另外，在百度搜索“自然语言处理”或者其他学科术语，基本上百度百科都在第一，这不要紧，毕竟百科还可以接受，比较离谱的是有时候百度知道、百度有啊上无关痛痒的内容也能占据第一页，这就让人比较无奈了。
　　这些情况，我从未在Google上发现，不是因为Google对我好，就说Google的好话，而事实却是如此。另外估计来52nlp的读者基本上都在做研究或者搞研发，多数应该习惯于Google，我也不例外。
　　目前Google中文搜索搬至香港，在大陆还能访问，因此对“我爱自然语言处理”没啥影响，但是我担心哪一天访问不了了，那么其影响是致命的，包括我的网络生活，基本上已经离不开Google的优秀产品。
　　与其坐而待毙，不如忍痛割爱，所以我宣布今天（2010年4月1日）停止更新“我爱自然语言处理”！亲爱的读者，再见！

注：原创文章，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/我爱自然语言处理停止更新

Google’s Python Class

52nlp — Sun, 21 Mar 2010 06:23:36 +0000

　　自然语言处理和脚本语言的关系还是很密切的，我一直比较喜欢用Perl，不过因为NLTK的缘故，我学习了一下Python，也立即被Python的严谨所征服。印象《Learning Python》中提到了Perl和Python的一段八卦：Perl的发明者是语言学家，而Python的发明者则是数学科班出身，因此前者崇尚自由，而后者推崇严谨。大意如此，但是对于Perl和Python，我同样受用，该用哪个时就用哪个，没必要比较。
　　好了，废话少说，这两天发现Google推出了一个“Google’s Python Class”，放在了“Google Code University”，是一个两天的课程，既有文档，也有视频（放在YouTube上，正常手段无法观看），还有练习，主要目标人群是：For people with a little bit of programming experience who want to learn Python。
　　因为已经借用其他书籍学了python，所以对于Google’s Python Class，我只是粗略的看了一下，感觉不错。对于想入门Python的nlpers来说，可以考虑“Google’s Python Class”，毕竟有Google的信誉作保证。以下是该课程的基本简介：

Welcome to Google’s Python Class — this is a free class for people with a little bit of programming experience who want to learn Python. The class includes written materials, lecture videos, and lots of code exercises to practice Python coding. These materials are used within Google to introduce Python to people who have just a little programming experience. The first exercises work on basic Python concepts like strings and lists, building up to the later exercises which are full programs dealing with text files, processes, and http connections. The class is geared for people who have a little bit of programming experience in some language, enough to know what a “variable” or “if statement” is. Beyond that, you do not need to be an expert programmer to use this material.

To get started, the Python sections are linked at the left — Python Set Up to get Python installed on your machine, Python Introduction for an introduction to the language, and then Python Strings starts the coding material, leading to the first exercise. The end of each written section includes a link to the code exercise for that section’s material. The lecture videos parallel the written materials, introducing Python, then strings, then first exercises, and so on. At Google, all this material makes up an intensive 2-day class, so the videos are organized as the day-1 and day-2 sections.

This material was created by Nick Parlante working in the engEDU group at Google. Special thanks for the help from my Google colleagues John Cox, Steve Glassman, Piotr Kaminksi, and Antoine Picard. And finally thanks to Google and my director Maggie Johnson for the enlightened generosity to put these materials out on the internet for free under the under the Creative Commons Attribution 2.5 license — share and enjoy!

　　关于Google’s Python Class，可以访问其官方网站了解具体情况：
　　http://code.google.com/edu/languages/google-python-class/

注：原创文章，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/googles-python-class

感谢ExWebs，回归Host2ez

52nlp — Sat, 06 Mar 2010 16:38:35 +0000

　　晚上把“我爱自然语言处理”从ExWebs提供的免费空间上转移到Host2ez，加上前两天已经转移了“自然语言处理百科”，至此，从去年4月5日至今的11个月里，对于ExWebs所提供的免费空间，无论访问速度还是稳定性，我个人非常满意，这里表示感谢！
　　事实上，去年10月下旬ExWebs曾给我提供了又一年的免费使用机会，但是由于新的一期免费计划所在主机在国内，我最终选择了放弃。而之后，Host2ez悄然归来，当我1月份选择虚拟主机时，就决定回归Host2ez。而此前我已陆续将52nlp.org，52nlp.com以及博客镜像搬进了Host2ez的虚拟空间里，目前体验依然满意。
　　顺便记录一下wordpress以及mediawiki的搬家记录，其实很简单：
　　1.在旧的空间导出原有数据库；
　　2.在新的空间建一个新数据库，并导入原有数据库（注意，如果不换域名，直接导入即可，换域名的话里利用一些文本编辑工具替换域名后再导入）；
　　3.备份原wordpress或mediawiki文件夹，上传到新空间；
　　4.修改数据库信息即可。
　　总之，平时的备份很重要，尤其是数据库的备份。

注：原创文章，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/感谢exwebs-回归host2ez

祝福大家虎年吉祥如意

52nlp — Thu, 11 Feb 2010 15:45:48 +0000

　　回家过年，博客暂停更新！
　　提前祝大家虎年吉祥如意，家人平安幸福！
　　以下是利用微软对联为52nlp生成的虎年春联，上联选“自然语言处理”，下联是挑来组去自动生成的：

　　关于新版本的微软对联，可以看看周明老师的《微软新对联·欢乐庆春节》，主要做了如下的改进：
　　1．对联搜索。可以通过关键字搜索古今中外名联。
　　2．更加强大的对对联引擎。可以对多达15字的对联。而且对联速度和质量也进一步提升。
　　3．作品发表。可以把您的对联作品发布出来，供其它网友欣赏和评价。
　　4．免费短信分享。可以用短信把您的对联作品分发给您的好友。
　　不过我感觉核心的对联引擎没有多大改变，但无论如何，微软对联是一个非常有创意的产品，尤其能与统计机器翻译联系起来，实在太佩服MSRA的创新能力了！

注：转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/祝福大家虎年吉祥如意