本节我们开始《Beautiful Data》中的“Word Segmentation”之旅，虽然Peter Norvig大牛从中文分词的需求讲起，但本节事实上讲得是英文分词，毕竟Google语言模型是以英文语料库为基础的，用中文分词举例Google语言模型就无用武之地了。一般说来，英文是不需要分词的，基本上tokenization就够了。但是某些时候，譬如英文网址（URLs)就没有空格，对于搜索引擎或者文字处理程序来说正确的分词就很重要了。不过，无论英文分词还是中文分词，利用统计语言模型来分词的思想本质是一样的。 继续阅读
不小心撞上了科学网上李维老师的博客，读了他个人履历和几篇文章，只能用“敬佩”二字对李维老师表示敬意。作为年后开工的第一篇博文，本无转载计划的，但是这里还是选用李维老师的随笔《机器学习和自然语言处理》，这是一位计算语言学学者和自然语言处理实践者多年来的经验之谈，没有相当的积累，纸上是谈不来的。不过，更推荐有兴趣的读者读读《朝华午拾：在美国写基金申请的酸甜苦辣》，虽然很长，我还是一气呵成读完的，除了佩服李维老师的行文能力外，也能看到成功背后的付出和汗水是多么的巨大。 继续阅读
回家过年，博客暂停更新！
提前祝大家虎年吉祥如意，家人平安幸福！
以下是利用微软对联为52nlp生成的虎年春联，上联选“自然语言处理”，下联是挑来组去自动生成的： 继续阅读
这两天“我爱自然语言处理”的一些访问来源于CSDN的推介，于是查了一下，发现与CSDN的一则新闻有关：《Google研发手机翻译软件 人类有望无需学外语》，里面除了原始新闻的简单摘译外，附加了Franz Och的介绍——引用了《统计机器翻译英雄谱一：Franz Josef Och》中的部分内容。 继续阅读
本节我们进入《Beautiful Data》的正题，将沿着其第14章Peter Norvig大牛的“Natural Language Corpus Data”的轨迹介绍统计语言模型的三个应用：分词、解码及拼写检查。不过《Beautiful Data》中这三个应用依赖着Google的海量语言模型，所以Peter Norvig研究员首先介绍的也是Google语言模型的一些基本情况和背景。 继续阅读
自然语言处理与医疗健康看起来似乎不搭边，不过如果读者还记着《HMM在自然语言处理中的应用一：词性标注4》中的Philip Resnik教授的话——他利用自然语言处理来提高医用编码（medical coding）的水平——大概也不会太吃惊。而今天看到和讯科技的一则新闻：《多领域IT技术研究推动改善数字健康与医疗》，讲的是“2010微软亚洲研究院数字健康与医疗研讨会”，文中提到了与数字医疗健康相关的领域，其中就包括自然语言处理： 继续阅读
统计语言模型大概是自然语言处理中最简洁也最漂亮的模型了，在自然语言处理中，统计语言模型的应用包括语音识别、机器翻译、中文分词、拼写检查、语言识别、输入法等等，以至于Google科学家吴军老师的《数学之美》系列第一篇就介绍了统计语言模型。 继续阅读