三
10
本节我们进入《Beautiful Data》中分词的编码阶段，完整的程序及数据大家可以在“Natural Language Corpus Data: Beautiful Data”上下载ngrams.zip，我这里主要做一些解读。程序由python实现，无论在Linux或者Windows平台下，只要安装了相应的python版本，程序均可以通过测试，不过我所使用的是python2.6，注意，在python3.0上会有一些问题。 阅读全文
三
7
晚上把“我爱自然语言处理”从ExWebs提供的免费空间上转移到Host2ez，加上前两天已经转移了“自然语言处理百科”，至此，从去年4月5日至今的11个月里，对于ExWebs所提供的免费空间，无论访问速度还是稳定性，我个人非常满意，这里表示感谢！ 阅读全文
三
6
本文转自哈工大信息检索研究室刘挺老师的博客，是关于创新的，举了两个例子：基于字标注的中文分词方法和搜狗输入法，感觉写得很有启发性，读者也可以对比一下《自然语言处理领域的两种创新观念》。刘老师是国内自然语言处理领域的重量级人物，他的博文估计很多都早已被读者熟悉，这里就不多说了。 阅读全文
三
2
现在，我们就可以应用这个方法来进行分词了。首先定义一个函数：segment，其输入是一串没有空格的字符串，而输出则是一个单词列表，既最好的分词结果： 阅读全文
二
26
本节我们开始《Beautiful Data》中的“Word Segmentation”之旅，虽然Peter Norvig大牛从中文分词的需求讲起，但本节事实上讲得是英文分词，毕竟Google语言模型是以英文语料库为基础的，用中文分词举例Google语言模型就无用武之地了。一般说来，英文是不需要分词的，基本上tokenization就够了。但是某些时候，譬如英文网址（URLs)就没有空格，对于搜索引擎或者文字处理程序来说正确的分词就很重要了。不过，无论英文分词还是中文分词，利用统计语言模型来分词的思想本质是一样的。 阅读全文
二
23
不小心撞上了科学网上李维老师的博客，读了他个人履历和几篇文章，只能用“敬佩”二字对李维老师表示敬意。作为年后开工的第一篇博文，本无转载计划的，但是这里还是选用李维老师的随笔《机器学习和自然语言处理》，这是一位计算语言学学者和自然语言处理实践者多年来的经验之谈，没有相当的积累，纸上是谈不来的。不过，更推荐有兴趣的读者读读《朝华午拾：在美国写基金申请的酸甜苦辣》，虽然很长，我还是一气呵成读完的，除了佩服李维老师的行文能力外，也能看到成功背后的付出和汗水是多么的巨大。 阅读全文
二
11
回家过年，博客暂停更新！
提前祝大家虎年吉祥如意，家人平安幸福！
以下是利用微软对联为52nlp生成的虎年春联，上联选“自然语言处理”，下联是挑来组去自动生成的： 阅读全文
二
10
这两天“我爱自然语言处理”的一些访问来源于CSDN的推介，于是查了一下，发现与CSDN的一则新闻有关：《Google研发手机翻译软件 人类有望无需学外语》，里面除了原始新闻的简单摘译外，附加了Franz Och的介绍——引用了《统计机器翻译英雄谱一：Franz Josef Och》中的部分内容。 阅读全文
二
9
本节我们进入《Beautiful Data》的正题，将沿着其第14章Peter Norvig大牛的“Natural Language Corpus Data”的轨迹介绍统计语言模型的三个应用：分词、解码及拼写检查。不过《Beautiful Data》中这三个应用依赖着Google的海量语言模型，所以Peter Norvig研究员首先介绍的也是Google语言模型的一些基本情况和背景。 阅读全文
二
4
自然语言处理与医疗健康看起来似乎不搭边，不过如果读者还记着《HMM在自然语言处理中的应用一：词性标注4》中的Philip Resnik教授的话——他利用自然语言处理来提高医用编码（medical coding）的水平——大概也不会太吃惊。而今天看到和讯科技的一则新闻：《多领域IT技术研究推动改善数字健康与医疗》，讲的是“2010微软亚洲研究院数字健康与医疗研讨会”，文中提到了与数字医疗健康相关的领域，其中就包括自然语言处理： 阅读全文
订阅52nlp：
