http://www.52nlp.cn/beautiful-data-%e7%bb%9f%e8%ae%a1%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e7%9a%84%e5%ba%94%e7%94%a8%e4%ba%8c%e8%83%8c%e6%99%af I Love Natural Language Processing Sun, 05 Feb 2012 11:54:59 +0000 hourly 1 http://wordpress.org/?v=3.3.1 http://www.52nlp.cn/beautiful-data-%e7%bb%9f%e8%ae%a1%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e7%9a%84%e5%ba%94%e7%94%a8%e4%ba%8c%e8%83%8c%e6%99%af/comment-page-1#comment-2490 JiangFeng » 使用Google Web 1T 5-gram Tue, 12 Jul 2011 13:52:07 +0000 http://www.52nlp.cn/?p=3045#comment-2490 [...] Google语言模型的一些基本情况和背景可以参考52nlp上的这篇介绍，以及LDC上的介绍Web 1T 5-gram Version 1。 压缩的语言模型（1-5 gram）大小为24G，完全解压之后应该就是1T了。这么大的语言模型，无论是模型的训练（Google提供的是n-gram的计数文件）还是加载过程，几乎都不现实，我一想就头疼。对于一般用户而言，这么大的语言资源的确是收藏意义大于使用。 [...] [...] Google语言模型的一些基本情况和背景可以参考52nlp上的这篇介绍，以及LDC上的介绍Web 1T 5-gram Version 1。 压缩的语言模型（1-5 gram）大小为24G，完全解压之后应该就是1T了。这么大的语言模型，无论是模型的训练（Google提供的是n-gram的计数文件）还是加载过程，几乎都不现实，我一想就头疼。对于一般用户而言，这么大的语言资源的确是收藏意义大于使用。 [...]

]]>