评论：语言模型训练工具SRILM详解

来自：52nlp

52nlp — Tue, 30 Mar 2010 23:40:12 +0000

抱歉，找了一下备份没找到，不过这个不应该是版本的问题，即使是，你目前所下载的也应该是更好的版本，试着重新编译一下看看。

来自：michaelym

michaelym — Tue, 30 Mar 2010 14:56:13 +0000

谢谢回复，那就是说可以直接将一个大语料训练的，不过前提是机器性能足够。
另外我看了IRSTLM的安装，我down下来装就装不上。。可能我们的版本不太一样，方便提供一下你的版本么？

来自：52nlp

52nlp — Tue, 30 Mar 2010 12:02:34 +0000

我机器比较烂，问了一下师弟，他们去年参加第五届全国机器翻译测试时训练的汉语语言模型用的语料库是“1.8G的搜狗语料+几百M的汉语语料”，所以问题不在于怎么用SRILM训练大于1G的语料库，而是你的机器性能是否足够强。我以前实验室用于训练的机器是8核加12G内存的服务器。另外，对于大语料库，可以考虑IRSTLM和RandLM。IRSTLM的是考虑拆分合并的，具体请参考：《语言模型工具IRSTLM安装及试用手记》

来自：michael

michael — Tue, 30 Mar 2010 04:27:12 +0000

请问如何用SRILM在大于1G的语料建立LM，如何拆分文件，能给个具体的例子么，谢谢！

来自：52nlp

52nlp — Mon, 29 Mar 2010 11:07:32 +0000

恩，如果要仔细推敲Srilm建议阅读我师兄jianzhu的《srilm 阅读文档》，以下选自其文档12：
…
细解：第17行将句子中的每一个词以逆序方式保存到reversed中，同时
保存reverse中实际有效的词数（即去除和后的词数）。然后执
行第23-78行。
第23-78行通过循环方式统计句子中的所有 ngram的概率值并将其叠加到
totalProb中，同时统计句子的状态信息。
举例：
~~中国人民解放军~~
经过第17行处理后，变为：
解放军人民中国
同时将len设为3
因此23-78行的for循环处理ngram的顺序如下所示
P(中国|)
P(人民|中国 )
p(解放军|人民中国 )
P(|解放军人民中国 )
…

来自：Eric

Eric — Mon, 29 Mar 2010 02:01:06 +0000

我觉得也是这样的，句首和句尾的标识符都算作一个word的。所以在估计第三个词的概率时是这个三元组 w1 w2；而对于第二个词则退化成了2-gram文法，即 w1;以此类推，第一个词则退化为1-gram。

以上是我的理解。

来自：52nlp

52nlp — Sat, 27 Mar 2010 04:52:38 +0000

恩，欢迎大家多来交流！

来自：wangning

wangning — Sat, 27 Mar 2010 03:10:55 +0000

同意，多交流才能有更多收获！

来自：52nlp

52nlp — Fri, 26 Mar 2010 12:26:54 +0000

呵呵，有所为有所不为，欢迎多来52nlp交流！

来自：Yu Yifeng

Yu Yifeng — Fri, 26 Mar 2010 02:52:24 +0000

谢了！统计NLP，要周旋于语言本身的问题、各种统计算法、编程实现细节，每一样细啃起来都是没完没了，一件严重杀伤脑细胞的活啊！因此，交流、讨论意义更大。