评论：中文分词入门之字标注法1 http://www.52nlp.cn/%e4%b8%ad%e6%96%87%e5%88%86%e8%af%8d%e5%85%a5%e9%97%a8%e4%b9%8b%e5%ad%97%e6%a0%87%e6%b3%a8%e6%b3%951 I Love Natural Language Processing Fri, 30 Jul 2010 00:28:39 +0000 http://wordpress.org/?v=2.9.2 hourly 1 来自：52nlp http://www.52nlp.cn/%e4%b8%ad%e6%96%87%e5%88%86%e8%af%8d%e5%85%a5%e9%97%a8%e4%b9%8b%e5%ad%97%e6%a0%87%e6%b3%a8%e6%b3%951/comment-page-1#comment-730 52nlp Sun, 17 Jan 2010 02:49:53 +0000 http://www.52nlp.cn/?p=2928#comment-730 基于语言模型n-gram方法的中文分词似乎考虑了每一个句子所有可能的分词情况；对GOOG的分词方法不了解，但是觉得应该不会完全忽略中文分词的。 基于语言模型n-gram方法的中文分词似乎考虑了每一个句子所有可能的分词情况；对GOOG的分词方法不了解，但是觉得应该不会完全忽略中文分词的。

]]> 来自：Libin http://www.52nlp.cn/%e4%b8%ad%e6%96%87%e5%88%86%e8%af%8d%e5%85%a5%e9%97%a8%e4%b9%8b%e5%ad%97%e6%a0%87%e6%b3%a8%e6%b3%951/comment-page-1#comment-729 Libin Sat, 16 Jan 2010 21:47:17 +0000 http://www.52nlp.cn/?p=2928#comment-729 分词应该是模型的一部分。求解的时候要考虑所有可能的分词。譬如说，GOOG不考虑切分并不是没有道理的。 分词应该是模型的一部分。求解的时候要考虑所有可能的分词。譬如说，GOOG不考虑切分并不是没有道理的。

]]> 来自：52nlp http://www.52nlp.cn/%e4%b8%ad%e6%96%87%e5%88%86%e8%af%8d%e5%85%a5%e9%97%a8%e4%b9%8b%e5%ad%97%e6%a0%87%e6%b3%a8%e6%b3%951/comment-page-1#comment-725 52nlp Fri, 15 Jan 2010 11:45:05 +0000 http://www.52nlp.cn/?p=2928#comment-725 这个问题我还没思考过，不过词应该是最小的有意义的单元，从自然语言处理的角度来看，不分词，很多问题都无法继续下去。 不同的应用中文分词的粒度肯定是不同的，这个问题好像很多人都在研究，这里只是初步的介绍，还未涉及到这个方面。 我觉得中文分词首先应该有一个基本的切分原则，具有普适性，然后在操作时根据应用场景具体问题具体对待。 对于中文分词，我没有深入的研究，上述回答并不一定准确。另外，何谓Bayesian原则？我有点不明白。 这个问题我还没思考过，不过词应该是最小的有意义的单元，从自然语言处理的角度来看，不分词，很多问题都无法继续下去。
不同的应用中文分词的粒度肯定是不同的，这个问题好像很多人都在研究，这里只是初步的介绍，还未涉及到这个方面。
我觉得中文分词首先应该有一个基本的切分原则，具有普适性，然后在操作时根据应用场景具体问题具体对待。
对于中文分词，我没有深入的研究，上述回答并不一定准确。另外，何谓Bayesian原则？我有点不明白。

]]> 来自：Libin http://www.52nlp.cn/%e4%b8%ad%e6%96%87%e5%88%86%e8%af%8d%e5%85%a5%e9%97%a8%e4%b9%8b%e5%ad%97%e6%a0%87%e6%b3%a8%e6%b3%951/comment-page-1#comment-721 Libin Fri, 15 Jan 2010 03:08:42 +0000 http://www.52nlp.cn/?p=2928#comment-721 为什么要分词？ 分词的颗粒度和应用相关。 One fits all 的分词显然不是最优的，只是方便。 根据应用先定切分也不符合 Bayesian 原则。That's just my two cents. 为什么要分词？

分词的颗粒度和应用相关。 One fits all 的分词显然不是最优的，只是方便。 根据应用先定切分也不符合 Bayesian 原则。That’s just my two cents.

]]> 来自：52nlp http://www.52nlp.cn/%e4%b8%ad%e6%96%87%e5%88%86%e8%af%8d%e5%85%a5%e9%97%a8%e4%b9%8b%e5%ad%97%e6%a0%87%e6%b3%a8%e6%b3%951/comment-page-1#comment-699 52nlp Thu, 07 Jan 2010 15:53:36 +0000 http://www.52nlp.cn/?p=2928#comment-699 呵呵，个人能力有限啊！ 呵呵，个人能力有限啊！

]]> 来自：wangning http://www.52nlp.cn/%e4%b8%ad%e6%96%87%e5%88%86%e8%af%8d%e5%85%a5%e9%97%a8%e4%b9%8b%e5%ad%97%e6%a0%87%e6%b3%a8%e6%b3%951/comment-page-1#comment-698 wangning Thu, 07 Jan 2010 12:52:54 +0000 http://www.52nlp.cn/?p=2928#comment-698 师兄的网站的确给我提供了很大的帮助，我研究的是日语方向的语言信息处理，希望网站再多加一些其他语种的知识，或者介绍一些其他国家的先进技术 师兄的网站的确给我提供了很大的帮助，我研究的是日语方向的语言信息处理，希望网站再多加一些其他语种的知识，或者介绍一些其他国家的先进技术

]]>