http://web-ngram.research.microsoft.com/info/quickstart.htm

　　这两份文档都比较详细，有兴趣和条件的读者可以试一下。

注：转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/微软-web-n-gram-services

相关文章:

1. Beautiful Data-统计语言模型的应用二：背景
2. Beautiful Data-统计语言模型的应用三：分词8
3. HMM学习最佳范例七：前向-后向算法2
4. 语言模型训练工具SRILM详解
5. HMM学习最佳范例七：前向-后向算法5
6. 语言模型工具IRSTLM安装及试用手记
7. MIT自然语言处理第二讲：单词计数（第一部分）
8. MIT自然语言处理第三讲：概率语言模型（第一部分）
9. 推荐张华平老师的中文分词工具ICTCLAS2010
10. Beautiful Data-统计语言模型的应用三：分词7

　　欧洲议会平行语料库是从欧洲议会的会议记录里抽取出来的，包括11个欧洲语言的版本：包括拉丁语系的4种语言（法语，意大利语，西班牙语，葡萄牙语），日耳曼语系的5种语言（英语，荷兰语，德语，丹麦语，瑞典语）以及其他两种语言
　　欧洲语料库第三版数据情况如下：
　　1、总的可供使用或下载的资源（包括文本文件、预处理工具及句对齐工具）为783MB，以英语为中间语言，具体如下：
　　• 丹麦语－英语（Danish-English）平行语料库，126MB， 04/1996-10/2006 ；
　　• 德语－英语（German-English）平行语料库， 136 MB, 04/1996-10/2006；
　　• 希腊语－英语（Greek-English）平行语料库，82MB，04/1996-10/2006 ；
　　• 西班牙语－英语（Spanish-English），130 MB, 04/1996-10/2006 ；
　　• 芬兰语－英语（Finnish-English）平行语料库，124 MB, 01/1997-10/2006 ；
　　• 法语－英语（French-English）平行语料库，136MB，04/1996-10/2006 ；
　　• 意大利语－英语（Italian-English）平行语料库，130 MB, 04/1996-10/2006 ；
　　• 荷兰语－英语（Dutch-English）平行语料库，133 MB， 04/1996-10/2006
　　• 葡萄牙语－英语（Portuguese-English）平行语料库，132MB，04/1996-10/2006 ；
　　• 瑞典语－英语（Swedish-English）平行语料库，114 MB, 01/1997-10/2006 ；

　　2、语料库规模：
A、在tokenizing和去除XML标记之后的单语语料库规模数据如下：
语言　　　　　　　　　句子数　　　　　　　　　单词数
丹麦语（Danish） 　　1,563,012 　　　　　　37,467,445
德语（German） 　　　1,517,987 　　　　　　37,614,344
希腊语（Greek） 　　　962,820 　　　　　　　26,306,875
英语（English） 　　　1,461,429 　　　　　　39,618,240
西班牙语（Spanish） 　1,476,106 　　　　　　41,408,300
芬兰语（Finnish） 　　1,407,544 　　　　　　26,413,278
法语（French） 　　　1,487,459 　　　　　　44,688,872
意大利语（Italian） 　1,405,282 　　　　　　39,504,158
荷兰语（Dutch） 　　　1,616,104 　　　　　　39,778,617
葡萄牙语（Portuguese） 1,441,203 　　　　　　40,862,310
瑞典语（Swedish） 　　1,475,195 　　　　　　33,407,005
注：单语语料库主要用于统计机器翻译(SMT)中语言模型的训练。

B、在句对齐，tokenizing和去除XML标记之后的双语平行语料库规模数据如下：
平行语料库(语言1-语言2) 　对齐句子数 　语言1单词数 　语言2单词数
丹麦语－英语（Danish-English） 1,304,947 34,169,707 36,225,880
德语－英语（German-English） 1,313,096 34,700,362 36,663,083
希腊语－英语（Greek-English） 662,090 18,834,758 18,827,241
西班牙语－英语（Spanish-English） 1,304,116 37,870,751 36,429,274
芬兰语－英语（Finnish-English） 1,257,720 24,895,790 34,802,617
法语－英语（French-English） 1,334,080 41,573,117 37,436,222
意大利语－英语（Italian-English） 1,251,315 36,411,166 36,510,033
荷兰语－英语（Dutch-English） 1,326,412 36,784,168 36,690,392
葡萄牙语－英语（Portuguese-English）1,287,757 37,342,426 36,355,907
瑞典语－英语（Swedish-English） 1,164,536 28,882,142 32,053,628
注：平行语料库主要用于统计机器翻译(SMT)中翻译模型的训练。

C、用于SMT测试集和开发集的规模对应每种语言对均为2000句对。

　　欧洲平行语料库第三版由Cameron Shaw Fordyce (意大利CELCT), Josh Schroede和 Philipp Koehn (二人均属于英国爱丁堡大学 ）主持，由欧洲委员会资助的EuroMatrix项目支持。

注：原创文章，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/european-parliament-proceedings-parallel-corpus-introduce/

相关文章:

1. 自然语言处理公司巡礼四：Systran
2. SMT经典再回首之Brown90:远见卓识
3. EuroMatrix与开放精神
4. 最有影响力的自然语言处理论文
5. 统计机器翻译与资源建设思考
6. 统计机器翻译英雄谱一：Franz Josef Och
7. 机器翻译的八大挑战
8. Moses最新版本发布
9. 自动作文评分与自然语言处理
10. 统计机器翻译文献阅读指南

　EuroMatrix的主页见：http://www.euromatrix.net/

注：原创文章，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：
http://www.52nlp.cn/euromatrix-and-spirit-of-openness/

相关文章:

1. 自然语言处理与计算语言学书籍汇总之五：机器翻译
2. 统计机器翻译中的几篇经典文献
3. Moses近期动态及其他
4. Moses中模型训练的并行化问题
5. 机器翻译的八大挑战
6. 机器翻译档案计划
7. SMT经典再回首之Brown90:远见卓识
8. 欧洲议会平行语料库介绍
9. 统计机器翻译文献阅读指南
10. 语言模型训练工具SRILM详解

三、 语料库相关
a) 数据稀疏问题（Sparsity）
　i. “kick”在一百万单词中出现的次数（How often does “kick” occur in 1M words）?——58
　ii. “kick a ball”在一百万单词中出现的次数（How often does kick “kick a ball” occur in 1M words）?——0
　iii. “kick”在web中出现了多少（How often does “kick” occur in the web）?——6M
　iv. “kick a ball”在web中出现了多少(How often does “kick a ball” occur in the　web)?——8.000
　v. 数据永远不会嫌多(There is no data like more data)
b) 非常非常大的数据（Very Very Large Data）
　i. Brill&Banko 2001：在混合集合消歧任务中通过增加数据规模的方法进行训练所得到的结果比在标准训练语料上训练的最好系统的结果好很多（In the task of confusion set disambiguation increase of data size yield significant improvement over the best performing system trained on the standard training corpus size set）
　　1. 任务（Task）：对“too,to”这样的词对进行歧义消除（disambiguate between pairs such as too, to）
　　2. 训练规模(Training Size)：从一百万词到10亿词不等（varies from one million to one billion）
　　3. 用于对比的学习算法（Learning methods used for comparison）：winnow算法，感知器算法，决策树算法( winnow, perceptron, decision-tree)
　ii. Lapata&Keller 2002, 2003：web可用做非常非常大的语料库（the web can be used as a very very large corpus）
　　1. 计数可能被噪音干扰，但是对于一些任务这不是什么大问题（The counts can be noisy, but for some tasks this is not an issue）
c) 布朗语料库(The Brown Corpus)
　i. 著名的早期语料库（Famous early corpus） (Made by Nelson Francis and Henry Kucera at Brown University in the 1960s)
　　1. 一个关于美国书面语的平衡语料库（A balanced corpus of written American English），包括报纸，小说，非小说，学术等体裁（Newspaper, novels, non-fiction, academic）
　　2. 一百万单词数，500份文本（1 million words, 500 written texts）
　　3. 你认为这是一个大型语料库吗（Do you think this is a large corpus）?
　ii. 注，关于布朗语料库更详细的介绍：
　　1. 20世纪60年代，Francis和Kucera在美国Brown大学建立了世界上第一个根据系统性原则采集样本的标准语料库——布朗语料库。
　　2. 主要目的是研究当代美国英语
　　3. 按共时原则采集文本的语料库，只选录1961年间由美国人撰写出版的普通语体的文本。
　　4. 规模为100万词次，全部语料分成15种体裁，共500个样本，每个样本不少于2000词次。
　　5. TAGGIT系统：词类标记81种，正确率达77%
　　6. 语料分A-R共18种类型，A-J属于资讯类语体，K-R属于想象类语体
　　　　　　例：A 报刊：新闻报道；B 报刊：社论…
　　7. 样本通过随机采样方法得到。首先从各类体裁目录中按样本数要求随机选出进入语料库的文本，然后从选出的文本中随机截取不少于2000词次的片断作为样本，采样时要保证最后一个句子是完整的
　　8. 版本：A,B,C,卑尔根I,卑尔根II,布朗MARC
　　9. 布朗语料库从语料库的整体规模，语料的分布和语料的采样上都经过了精心的设计，一致被公认为是一个能反映语言共性的平衡语料库。
d) 近年来的语料库（Recent Corpora）
语料库(Corpus)　规模（Size）　领域（Domain）　语言（Language）
NA News Corpus 600 million 　　newswire　　　American English
British National Corpus 100 million balanced 　　British English
EU proceedings　　20 million　　　legal　　　　　10 language pairs
Penn Treebank　　2 million　　　newswire　　　American English
Broadcast News　　　　　　　　　spoken　　　　7 languages
SwitchBoard　　　2.4 million　　　spoken　　　American English
　ii. 了解更多语料库的信息，请查询语言数据联盟（For more corpora, check the Linguistic Data Consortium）：
　　　　　　http://www.ldc.upenn.edu/

e) 语料库内容（Corpus Content）
　i. 类型（Genre）：
　　　– 新闻，小说，广播，会话（newswires, novels, broadcast, spontaneous conversations）
　ii. 媒介（Media）：文本，音频，视频（text, audio, video）
　iii. 标注（Annotations）：tokenization, 句法树（syntactic trees）, 语义（semantic senses）, 翻译（translations）
f) 标注例子（Example of Annotations）: 词性标注（POS Tagging）
　i. 词性标注集对简单的语法功能编码（POS tags encode simple grammatical functions）
　ii. 几个词性标注集(Several tag sets):
　　1. Penn tag set (45 tags)
　　2. Brown tag set (87 tags)
　　3. CLAWS2 tag set (132 tags)
　iii. 举例:
　Category　　　　　　　Example　　　Claws c5　　Brown　　Penn
　Adverb　　　　　　　often, badly　　　AJ0　　　　JJ　　　　JJ
　Noun singular　　　　table, rose　　　　NN1　　　NN　　　　NN
　Noun plural　　　　　tables, roses　　　NN2　　　NN　　　　NN
　Noun proper singular　Boston, Leslie　　NP0　　　NP　　　　NNP
g) 标注中的问题（Issues in Annotations）
　i. 同样的认为不同的标注方案很正常（Different annotation schemes for the same task are common）
　ii. 在某些情况下，方案之间有直接的映射关系；在其他情况下，它们并没有显示出任何关系（In some cases, there is a direct mapping between schemes; in other cases, they do not exhibit any regular relation）
　iii. 标注的选择是由语言，计算和/或任务需要驱动的（Choice of annotation is motivated by the linguistic, the computational and/or the task requirements）

未完待续：第四部分

附：课程及课件pdf下载MIT英文网页地址：
　　　http://people.csail.mit.edu/regina/6881/

注：本文遵照麻省理工学院开放式课程创作共享规范翻译发布，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：
http://www.52nlp.cn/mit-nlp-second-lesson-word-counting-third-part/

相关文章:

1. MIT自然语言处理第二讲：单词计数（第一部分）
2. MIT自然语言处理第二讲：单词计数（第二部分）
3. MIT自然语言处理第二讲：单词计数（第四部分）
4. MIT自然语言处理第三讲：概率语言模型（第四部分）
5. MIT自然语言处理第三讲：概率语言模型（第三部分）
6. MIT自然语言处理第四讲：标注（第三部分）
7. MIT自然语言处理第五讲：最大熵和对数线性模型（第三部分）
8. MIT自然语言处理第一讲：简介和概述（第三部分）
9. MIT自然语言处理第四讲：标注（第四部分）
10. MIT自然语言处理第五讲：最大熵和对数线性模型（第一部分）

二、 齐夫定律(Zipf’s Law)
a) 在任何一个自然语言里第n个最常用的单词的频率与n近似成反比（The frequency of use of the nth-most-frequently-used word in any natural language is approximately inversely proportional to n）。
b) 齐夫定律表示频率(f)与排名®的关系如下（Zipf’s Law captures the relationship between frequency and rank）：
　　　f #= 1/r（注：这里不能使用公式编辑器，近似表示）
c) 存在一个常量k表示如下（There is a constant k such that）：
　　　f* r = k
d) 汤姆•索耶中的齐夫定律（Zipf’s Law in Tom Sawye）
单词（word） 频率（Freq.(f)） 排名（Rank (r)） f ∗ r
the　　　　　3332　　　　　　1　　　　　　　　3332
and　　　　　2972　　　　　　2　　　　　　　　5944
a　　　　　　1775　　　　　　3　　　　　　　　5235
he　　　　　 877　　　　　　10 　　　　　　　8770
but　　　　　410　　　　　　 20　　　　　　　 8400
be　　　　　 294　　　　　　 30　　　　　　　 8820
there　　　　222　　　　　　 40　　　　　　　 8880
one　　　　　172　　　　　　50　　　　　　　 8600
about　　　　158　　　　　　60　　　　　　　 9480
never　　　　124　　　　　　80　　　　　　　 9920
Oh　　　　　 116　　　　　　90　　　　　　　 10440
e) 译者注：补充说明——Wiki中的齐夫定律
　i. 从根本上讲, 齐夫定律可以表述为在自然语言的语料库里, 一个单词出现的频率与它在频率表里的排名成反比。所以,频率最高的单词出现的频率大约是出现频率第二位的单词的2倍，而出现频率第二位的单词则是出现频率第四位的单词的2倍。这个定律被作为任何与power law probability distributions有关的事物的参考。 这个”定律”是哈佛大学的语言学家George Kingsley Zipf 发表的。
　ii. 比如，在Brown 语库中，”the” 是最常见的单词，它在这个语库中出现了大约7%（10万单词中出现69971次）。正如齐夫定律中所描述的一样，出现次数为第二位的单词”of”占了整个语库中的3.5% (36411次), 之后的是”and” (28852次)。仅仅 135 个字汇就占了Brown 语库的一半。
　iii. 齐夫定律是一个实验定律，而非理论定律。齐夫分布可以在很多现象中被观察到。齐夫分布的在现实中的起因是一个争论的焦点。齐夫定律很容易用点阵图观察，坐标为log(排名)和log(频率)。比如，”the”用上述表述可以描述为x = log(1), y = log(69971)的点。如果所有的点接近一条直线，那么它就遵循齐夫定律。最简单的齐夫定律的例子是 “1/f function”。给出一组齐夫分布的频率，按照从最常见到非常见排列，第二常见的频率是最常见频率的出现次数的1/2。第三常见的频率是最常见的频率的1/3。 第n常见的频率是最常见频率出现次数的1/n。然而，这并不精确，因为所有的项必须出现一个整数次数，一个单词不可能出现2.5次。然而，在一个广域范围内并且做出适当的近似，许多自然现象都符合齐夫定律。
f) 齐夫定律和省力原则（Zipf’s Law and Principle of Least Effort）
　i. 人类行为和省力原则（Human Behavior and the Principle of Least Effort(Zipf)）：
　　1. “… Zipf argues that he found a unifying principle, the Principle of Least Effort, which underlies essentially the entire human condition (the book even includes some questionable remarks on human sexuality!). The principle argues that people will act so as to minimize their probable average rate of work”. (Manning&Schutze, p.23)
　ii. 注：北京大学姜望琪老师的《Zipf与省力原则》讲得很好，部分摘录如下：
　　1. 省力原则(the Principle of Least Effort)，又称经济原则(the Economy Principle)，可以概括为：以最小的代价换取最大的收益。这是指导人类行为的一条根本性原则。在现代学术界，第一个明确提出这条原则的是美国学者 George Kingsley Zipf。
　　2. George Kingsley Zipf1902年1月出生于一个德裔家庭（其祖父十九世纪中叶移居美国)。1924年，他以优异成绩毕业于哈佛学院。1925年在德国波恩、柏林学习。1929年完成Relative Frequency as a Determinant of Phonetic Change，获得哈佛比较语文学博士学位。然后，他开始在哈佛教授德语。1931年与Joyce Waters Brown结婚。1932年出版Selected Studies of the Principle of Relative Frequency in Language。1935年出版The Psycho- Biology of Language：An Introduction to Dynamic Philology。1939年被聘为讲师。1949年出版Human Behavior and the Principle of Least Effort：An Introduction to Human Ecology。1950年9月因患癌症病逝。
　　3. Zipf在1949年的书里提出了一条指导人类行为的基本原则——省力原则。Zipf在序言里指出，如果我们把人类行为纯粹看作一种自然现象，如果我们像研究蜜蜂的社会行为、鸟类的筑巢习惯一样研究人类行为，那么，我们就有可能揭示其背后的基本原则。这是他提出“省力原则”的大背景。当Zipf在众多互不相干的现象里都发现类似Zipf定律的规律性以后，他就开始思考造成这种规律性的原因。这是导致他提出“省力原则”的直接因素。在开始正式论证以前，Zipf首先澄清了“省力原则”的字面意义。第一，这是一种平均量。一个人一生要经历很多事情，他在一件事情上的省力可能导致在另一件事情上的费力。反过来，在一件事情上的费力，又可能导致在另一件事情上的省力。第二，这是一种概率。一个人很难在事先百分之百地肯定某种方法一定能让他省力，他只能有一个大概的估计。因为用词研究是理解整个言语过程的关键，而后者又是理解整个人类生态学的关键，他的具体论证从用词经济开始。Zipf认为，用词经济可以从两个角度来讨论：说话人的角度和听话人的角度。从说话人的角度看，用一个词表达所有的意义是最经济的。这样，说话人不需要花费气力去掌握更多的词汇，也不需要考虑如何从一堆词汇中选择一个合适的词。这种“单一词词汇量”就像木工的一种多用工具，集锯刨钻锤于一身，可以满足多种用途。但是，从听话人角度看，这种“单一词词汇量”是最费力的。他要决定这个词在某个特定场合到底是什么意思，而这几乎是不可能的。相反，对听话人来说，最省力的是每个词都只有一个意义，词汇的形式和意义之间完全一一对应。这两种经济原则是互相冲突、互相矛盾的。Zipf把它们叫做一条言语流中的两股对立的力量：“单一化力量”（the Force of Unification）和“多样化力量”（the Force of Diversification）。他认为，这两股力量只有达成妥协，达成一种平衡，才能实现真正的省力。事实正像预计的那样。请看Zipf的论证：假如只有单一化力量，那么任何语篇的单词数量（number）都会是1，而它的出现次数（frequency）会是100%。另一方面，假如只有多样化力量，那么每个单词的出现次数都会接近1，而单词总数量则由语篇的长度决定。这就是说， number和frequency是衡量词汇平衡程度的两个参数。

g) 其他规律（Other laws）：
　i. 词义分布（Word sense distribution）；
　ii. 音位分布（Phonemes distribution）；
　iii. 词共现模式（Word co-occurrence patterns）；
h) 近似服从齐夫定律的例子（Examples of collections approximately obeying Zipf’s law）：
　i. 访问网页的频率（Frequency of accesses to web pages）；
　ii. 居住点的规模（Sizes of settlements）；
　iii. 个人收入的分布（Income distribution amongst individuals）；
　iv. 地震的大小（Size of earthquakes）；
　v. 演奏中的音乐符号（Notes in musical performances）；

未完待续：第三部分

附：课程及课件pdf下载MIT英文网页地址：
　　　http://people.csail.mit.edu/regina/6881/

注：本文遵照麻省理工学院开放式课程创作共享规范翻译发布，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：
http://www.52nlp.cn/mit-nlp-second-lesson-word-counting-second-part/

相关文章:

1. MIT自然语言处理第二讲：单词计数（第一部分）
2. MIT自然语言处理第二讲：单词计数（第四部分）
3. MIT自然语言处理第二讲：单词计数（第三部分）
4. MIT自然语言处理第五讲：最大熵和对数线性模型（第二部分）
5. MIT自然语言处理第三讲：概率语言模型（第二部分）
6. MIT自然语言处理第一讲：简介和概述（第二部分）
7. MIT自然语言处理第四讲：标注（第二部分）
8. MIT自然语言处理第五讲：最大熵和对数线性模型（第三部分）
9. MIT自然语言处理第三讲：概率语言模型（第五部分）
10. MIT自然语言处理第四讲：标注（第三部分）

未完待续:第二部分

附：课程及课件pdf下载MIT英文网页地址：
　　　http://people.csail.mit.edu/regina/6881/
注：本文遵照麻省理工学院开放式课程创作共享规范翻译发布，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：
http://www.52nlp.cn/mit-nlp-second-lesson-word-counting-first-part/

相关文章:

1. MIT自然语言处理第二讲：单词计数（第三部分）
2. MIT自然语言处理第二讲：单词计数（第二部分）
3. MIT自然语言处理第二讲：单词计数（第四部分）
4. MIT自然语言处理第四讲：标注（第一部分）
5. MIT自然语言处理第一讲：简介和概述（第二部分）
6. MIT自然语言处理第五讲：最大熵和对数线性模型（第一部分）
7. MIT自然语言处理第三讲：概率语言模型（第一部分）
8. MIT自然语言处理第四讲：标注（第三部分）
9. MIT自然语言处理第一讲：简介和概述（第一部分）
10. MIT自然语言处理第三讲：概率语言模型（第五部分）

注：原创文章，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：
http://www.52nlp.cn/bits-structure-analysis/

相关文章:

1. MIT自然语言处理第三讲：概率语言模型（第三部分）
2. 统计机器翻译与资源建设思考
3. 不做什么，做什么，为什么——董振东与知网
4. Moses中模型训练的并行化问题
5. HMM在自然语言处理中的应用一：词性标注4
6. MIT自然语言处理第三讲：概率语言模型（第五部分）
7. Moses训练脚本的一个问题
8. 自然语言处理与机器翻译FAQ
9. 欧洲议会平行语料库介绍
10. LDC上免费的中文信息处理资源

注：原创文章，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/statistical-machine-translation-and-resources-building-thinking/

相关文章:

1. Moses中模型训练的并行化问题
2. 统计机器翻译英雄谱一：Franz Josef Och
3. 欧洲议会平行语料库介绍
4. EuroMatrix与开放精神
5. MIT自然语言处理第二讲：单词计数（第一部分）
6. 统计机器翻译文献阅读指南
7. 机器翻译的八大挑战
8. 统计机器翻译中的几篇经典文献
9. SMT经典再回首之Brown90:远见卓识
10. 自然语言处理与计算语言学书籍汇总之五：机器翻译