三、 最大熵模型详述
g) GIS算法（Generative Iterative Scaling）
　i. 背景：
　　最原始的最大熵模型的训练方法是一种称为通用迭代算法GIS (generalized iterative scaling) 的迭代算法。GIS 的原理并不复杂，大致可以概括为以下几个步骤：
　　1. 假定第零次迭代的初始模型为等概率的均匀分布。
　　2. 用第 N 次迭代的模型来估算每种信息特征在训练数据中的分布，如果超过了实际的，就把相应的模型参数变小；否则，将它们变大。
　　3. 重复步骤 2 直到收敛。
　　GIS 最早是由 Darroch 和 Ratcliff 在七十年代提出的。但是，这两人没有能对这种算法的物理含义进行很好地解释。后来是由数学家希萨（Csiszar) 解释清楚的，因此，人们在谈到这个算法时，总是同时引用 Darroch 和Ratcliff 以及希萨的两篇论文。GIS 算法每次迭代的时间都很长，需要迭代很多次才能收敛，而且不太稳定，即使在 64 位计算机上都会出现溢出。因此，在实际应用中很少有人真正使用 GIS。大家只是通过它来了解最大熵模型的算法。
　　八十年代，很有天才的孪生兄弟的达拉皮垂(Della Pietra)在 IBM 对 GIS 算法进行了两方面的改进，提出了改进迭代算法 IIS（improved iterative scaling）。这使得最大熵模型的训练时间缩短了一到两个数量级。这样最大熵模型才有可能变得实用。即使如此，在当时也只有 IBM 有条件是用最大熵模型。（以上摘自Google吴军《数学之美系列16》）
　ii. 目标（Goal）：寻找遵循如下约束条件的此种形式的分布（Find distribution of the form that obeys the following constraints）：
　　　　　　　　　　
　iii. GIS约束条件（GIS constraints）：
　　　1、
　　其中C是一个常数（where C is a constant (add correctional feature)）
　　　2、　
　iv. 定理（Theorem）：下面的过程将收敛到p*∈P∩Q（The following procedure will converge to p*∈P∩Q）：
　　　　　
　　　
　v. 计算量（Computation）
　　　
　　其中S={(a1,b1),…,(aN,bN)}是训练样本（where S is a training sample）
　　　
　　因为有太多可能的(a,b)，为了减少计算量，因而采用下面的公式近似计算：
　　　
　　时间复杂度（Running time）：O(NPA)
　　其中N训练集规模，P是预期数，A是对于给定事件(a,b)活跃特征的平均数（where N is the training set size, P is the number of predictions, and A is the average number of features that are active for a given event (a,b)）

四、 最大熵分类器（ME classifiers）
a) 可以处理很多特征（Can handle lots of features）
b) 存在数据稀疏问题（Sparsity is an issue）
　i. 应用平滑算法和特征选择方法解决（apply smoothing and feature selection）
c) 特征交互（Feature interaction）？
　i. 最大熵分类器并没有假设特征是独立的（ME classifiers do not assume feature independence）
　ii. 然而，它们也没有明显的模型特征交互（However, they do not explicitly model feature interaction）

五、 总结（Summary）
　a) 条件概率建模与对数线性模型（Modeling conditional probabilities with log-linear models）
　b) 对数线性模型的最大熵性质（Maximum-entropy properties of log-linear models）
　c) 通过迭代缩放进行优化（Optimization via iterative scaling）

一些实现的最大熵工具（Some implementations）：
　　http://nlp.stanford.edu/downloads/classifier.shtml
　　http://maxent.sourceforge.net

第五讲结束！

附：课程及课件pdf下载MIT英文网页地址：
　　　http://people.csail.mit.edu/regina/6881/

注：本文遵照麻省理工学院开放式课程创作共享规范翻译发布，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/mit-nlp-fifth-lesson-maximum-entropy-and-log-linear-models-fifth-part/

相关文章:

1. MIT自然语言处理第五讲：最大熵和对数线性模型（第二部分）
2. MIT自然语言处理第五讲：最大熵和对数线性模型（第三部分）
3. MIT自然语言处理第五讲：最大熵和对数线性模型（第四部分）
4. MIT自然语言处理第五讲：最大熵和对数线性模型（第一部分）
5. 最大熵模型文献阅读指南
6. MIT自然语言处理第三讲：概率语言模型（第五部分）
7. MIT开放式课程“自然语言处理”介绍
8. MIT自然语言处理第一讲：简介和概述（第三部分）
9. MIT自然语言处理第四讲：标注（第四部分）
10. MIT自然语言处理第三讲：概率语言模型（第六部分）

三、 最大熵模型详述
c) 相对熵（Kullback-Liebler距离）（Relative Entropy (Kullback-Liebler Distance)）
　i. 定义（Definition）：两个概率分布p和q的相对熵D由下式给出（The relative entropy D between two probability distributions p and q is given by）
　　　　　　
　ii. 引理1（Lemma 1）：对于任意两个概率分布p和q，D(p, q)≥0 且 D(p, q)=0 当且仅当p=q（For any two probability distributions p and q, D(p, q)≥ 0, and D(p, q)=0 if and only if p =q）
　iii. 引理2（毕达哥拉斯性质）（Lemma 2 (Pythagorean Property)）：若p∈P，q∈Q，p*∈P∩Q，则D(p, q) = D(p, p*) + D(p*, q) （If p ∈P and q ∈ Q, and p*∈P∩Q, then D(p, q) = D(p, p*) + D(p*, q)）
　注：证明请参看MIT NLP 的lec5.pdf英文讲稿；
d) 最大熵解（The Maximum Entropy Solution）
　i. 定理1(Theorem 1)：若p*∈P∩Q，则p* = ,且p*唯一(If p∗∈P ∩Q then p* = . Furthermore, p* is unique)
注：证明请参看min nlp原讲稿，主要运用引理1和引理2得出。
e) 最大似然解（The Maximum Likelihood Solution）
　i. 定理2(Theorem 2)：若p*∈P∩Q，则p* = ,且p*唯一(If p∗∈P ∩Q then p* = . Furthermore, p* is unique)
注：证明请参看min nlp原讲稿，主要运用引理1和引理2得出。
f) 对偶定理（Duality Theorem）
　i. 存在一个唯一分布p*(There is a unique distribution p*）
　　1. p*∈ P ∩ Q
　　2. p* = (最大熵解（Max-ent solution）)
　　3. p* = (最大似然解（Max-likelihood solution）)
　ii. 结论（Implications）：
　　1. 最大熵解可以写成对数线性形式（The maximum entropy solution can be written in log-linear form）
　　2. 求出最大似然解同样给出了最大熵解（Finding the maximum-likelihood solution also gives the maximum entropy solution）

未完待续…

附：课程及课件pdf下载MIT英文网页地址：
　　　http://people.csail.mit.edu/regina/6881/

注：本文遵照麻省理工学院开放式课程创作共享规范翻译发布，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/mit-nlp-fifth-lesson-maximum-entropy-and-log-linear-models-fourth-part/

相关文章:

1. MIT自然语言处理第五讲：最大熵和对数线性模型（第五部分）
2. MIT自然语言处理第五讲：最大熵和对数线性模型（第三部分）
3. MIT自然语言处理第五讲：最大熵和对数线性模型（第二部分）
4. MIT自然语言处理第五讲：最大熵和对数线性模型（第一部分）
5. MIT自然语言处理第三讲：概率语言模型（第四部分）
6. MIT自然语言处理第四讲：标注（第四部分）
7. MIT自然语言处理第二讲：单词计数（第四部分）
8. MIT开放式课程“自然语言处理”介绍
9. MIT自然语言处理第三讲：概率语言模型（第一部分）
10. 最大熵模型文献阅读指南

二、 最大熵（Maximum Entropy）：
b) 最大熵模型(Maximum Entropy Modeling)
　iii. 约束条件（Constraint）：
　　每个特征的观察样本期望值与特征模型期望值相一致（observed expectation of each feature has to be the same as the model’s expectation of the feature）：
　　
　iv. 最大熵原理(Principle of Maximum Entropy)：
　　将已知事实作为制约条件，求得可使熵最大化的概率分布作为正确的概率分布：
　　　　　
　v. 补充：
　　自然语言处理中很多问题都可以归结为统计分类问题，很多机器学习方法在这里都能找到应用，在自然语言处理中，统计分类表现在要估计类a 和某上下文b 共现的概率P(a,b) ，不同的问题，类a 和上下文b 的内容和含义也不相同。在词性标注中是类的含义是词性标注集中的词类标记，而上下文指的是当前被处理的词前面一个词及词类，后面一个词及词类或前后若干个词和词类。通常上下文有时是词，有时是词类标记，有时是历史决策等等。大规模语料库中通常包含a 和b 的共现信息，但b 在语料库中的出现常常是稀疏的，要对所有可能的(a,b)计算出可靠的P(a,b) ，语料库规模往往总是不够的。问题是要发现一个方法，利用这个方法在数据稀疏的条件下可靠的估计P(a,b) 。不同的方法可能采用不同的估计方法。
　　最大熵模型的优点是：在建模时，试验者只需要集中精力选择特征，而不需要花费精力考虑如何使用这些特征。而且可以很灵活地选择特征，使用各种不同类型的特征，特征容易更换。利用最大熵建模，一般也不需要做在其它方法建模中常常使用的独立性假设，参数平滑可以通过特征选择的方式加以考虑，无需专门使用常规平滑算法单独考虑，当然也不排除使用经典平滑算法进行平滑。每个特征对概率分布的贡献则由参数α决定，该参数可以通过一定的算法迭代训练得到。
（注：以上两段转自北大常宝宝老师的《自然语言处理的最大熵模型》）

三、 最大熵模型详述
a) 概要（Outline）
　i. 我们将首先证明（We will first show that）满足上述条件的概率分布p*具有如下的形式：
　　　　　
　其中是一个归一化常数，α是模型参数（where is a normalization constant and the α’s are the model parameters）
　ii. 然后我们将考虑搜寻α的参数估计过程（Then, we will consider an estimation procedure for finding the α’s）
b) 数学符号表示（Notations）
　i. χ是可能的“历史”集（χis the set of possible histories）
　ii. γ是所有可能的标记集（γ is the set of all possible tags）
　iii. S是事件训练样本集（S finite training sample of events）
　iv. p’(x)是S中x的观察概率（p’(x)observed probability of x in S）
　v. p(x)是x的模型概率（p(x) the model’s probability of x）
　vi. 其它符号公式定义如下：
　　　　

未完待续:第四部分

附：课程及课件pdf下载MIT英文网页地址：
　　　http://people.csail.mit.edu/regina/6881/

注：本文遵照麻省理工学院开放式课程创作共享规范翻译发布，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/mit-nlp-fifth-lesson-maximum-entropy-and-log-linear-models-third-part/

相关文章:

1. MIT自然语言处理第五讲：最大熵和对数线性模型（第二部分）
2. MIT自然语言处理第五讲：最大熵和对数线性模型（第一部分）
3. MIT自然语言处理第五讲：最大熵和对数线性模型（第四部分）
4. MIT自然语言处理第五讲：最大熵和对数线性模型（第五部分）
5. MIT自然语言处理第四讲：标注（第三部分）
6. MIT自然语言处理第四讲：标注（第四部分）
7. MIT自然语言处理第三讲：概率语言模型（第三部分）
8. MIT自然语言处理第一讲：简介和概述（第三部分）
9. 最大熵模型文献阅读指南
10. MIT自然语言处理第四讲：标注（第二部分）

一、 词性标注（POS tagging）：
c) 特征向量表示（Feature Vector Representation）
　i. 一个特征就是一个函数f（A feature is a function f ）：

　ii. 我们有m个特征fk，k = 1…m（We have m features fk for k =1…m）
d) 词性表示（POS Representation）
　i. 对于所有的单纯/标记对的单词/标记特征，（Word/tag features for all word/tag pairs）：

ii. 对于所有特定长度的前缀/后缀的拼写特征（Spelling features for all prefixes/suffixes of certain length）：

iii. 上下文特征（Contextual features）：

iv. 对于一个给定的“历史”x ∈ X ，每一个γ中的标记都被映射到一个不同的特征向量（For a given history x ∈ X, each label in γ is mapped to a different feature vector）：

v. 目标（Goal）：学习一个条件概率P(tag|history)（learn a conditional probability P(tag|history)

二、 最大熵（Maximum Entropy）：
a) 例子（Motivating Example）：
　i. 给定约束条件：p(x, 0)+p(y, 0)=0.6，a ∈{x, y}且b ∈0, 1，估计概率分布p(a, b)（Estimate probability distribution p(a, b), given the constraint: p(x, 0) + p(y, 0) =0.6, where a ∈{x, y}and b ∈0, 1））：
　　　　　　　
　ii. 满足约束条件的一种分布（One Way To Satisfy Constraints）：
　　　　　　　
　iii. 满足约束条件的另一种分布（Another Way To Satisfy Constraints）：
　　　　　　　
b) 最大熵模型(Maximum Entropy Modeling)
　i. 给定一个训练样本集，我们希望寻找一个分布符合如下两个条件(Given a set of training examples, we wish to find a distribution which)：
　　1. 满足已知的约束条件（satisfies the input constraints）
　　2. 最大化其不确定性（maximizes the uncertainty）
　ii. 补充：
　　最大熵原理是在1957 年由E.T.Jaynes 提出的，其主要思想是，在只掌握关于未知分布的部分知识时，应该选取符合这些知识但熵值最大的概率分布。因为在这种情况下，符合已知知识的概率分布可能不止一个。我们知道，熵定义的实际上是一个随机变量的不确定性，熵最大的时侯，说明随机变量最不确定，换句话说，也就是随机变量最随机，对其行为做准确预测最困难。从这个意义上讲，那么最大熵原理的实质就是，在已知部分知识的前提下，关于未知分布最合理的推断就是符合已知知识最不确定或最随机的推断，这是我们可以作出的唯一不偏不倚的选择，任何其它的选择都意味着我们增加了其它的约束和假设，这些约束和假设根据我们掌握的信息无法做出。（这一段转自北大常宝宝老师的《自然语言处理的最大熵模型》）

未完待续:第三部分

附：课程及课件pdf下载MIT英文网页地址：
　　　http://people.csail.mit.edu/regina/6881/

注：本文遵照麻省理工学院开放式课程创作共享规范翻译发布，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/mit-nlp-fifth-lesson-maximum-entropy-and-log-linear-models-second-part/

相关文章:

1. MIT自然语言处理第五讲：最大熵和对数线性模型（第一部分）
2. MIT自然语言处理第五讲：最大熵和对数线性模型（第三部分）
3. MIT自然语言处理第五讲：最大熵和对数线性模型（第五部分）
4. MIT自然语言处理第五讲：最大熵和对数线性模型（第四部分）
5. MIT自然语言处理第四讲：标注（第二部分）
6. MIT自然语言处理第三讲：概率语言模型（第二部分）
7. MIT自然语言处理第四讲：标注（第四部分）
8. MIT自然语言处理第一讲：简介和概述（第二部分）
9. MIT自然语言处理第二讲：单词计数（第二部分）
10. MIT自然语言处理第一讲：简介和概述（第三部分）

上一讲主要内容回顾（Last time）：
* 基于转换的标注器（Transformation-based tagger）
* 基于隐马尔科夫模型的标注器（HMM-based tagger）

遗留的内容（Leftovers）:
a) 词性分布（POS distribution）
　i. 在Brown语料库中按歧义程度排列的词型数目（The number of word types in Brown corpus by degree of ambiguity）：
　　无歧义（Unambiguous）只有1个标记： 35,340
　　　　歧义（Ambiguous） 有2-7个标记： 4,100
　　　　　　　　　　　　　　　　2个标记：3,764
　　　　　　　　　　　　　　　　3个标记：264
　　　　　　　　　　　　　　　　4个标记：61
　　　　　　　　　　　　　　　　5个标记：12
　　　　　　　　　　　　　　　　6个标记：2
　　　　　　　　　　　　　　　　7个标记：1
b) 无监督的TBL（Unsupervised TBL）
　i. 初始化（Initialization）：允许的词性列表（a list of allowable part of speech tags）
　ii. 转换（Transformations）： 在上下文C中将一个单词的标记从χ变为Y (Change the tag of a word from χ to Y in context C, where γ ∈ χ).
　　例子（Example）: “From NN VBP to VBP if previous tag is NNS”
　iii. 评分标准(Scoring criterion):
　　

这一讲主要内容（Today）：
* 最大熵模型(Maximum entropy models)
* 与对数线性模型的联系(Connection to log-linear models)
* 优化方法(Optimization methods)

一般问题描述(The General Problem)：
a) 给定输入域χ（We have some input domain χ）；
b) 给定标记集γ（We have some label set γ）；
c) 目标（Goal）：对于任何x ∈ χ 及 y ∈γ学习一个条件概率P(y|x) （learn a conditional probability P(y|x)for any x ∈ χ and y ∈ γ ）。

一、 词性标注（POS tagging）：
a) 例子：Our/PRP$ enemies/NNS are/VBP innovative/JJ and/CC resourceful/JJ ,/, and/CC so/RB are/VB we/PRP ?/?.
　i. 输入域（Input domain）：χ是可能的“历史”（χ is the set of possible histories）；
　ii. 标记集（Label set）：γ是所有可能的标注标记（γ is the set of all possible tags）；
　iii. 目标（Goal）：学习一个条件概率P(tag|history)（learn a conditional probability P(tag|history)）。
b) 表现形式（Representation）：
　i. “历史”是一个4元组(t1,t2,w[1:n],i) （History is a 4-tuples (t1,t2,w[1:n],i)；
　ii. t1,t2是前两个标记（t1,t2 are the previous two tags）
　iii. w[1:n]是输入句子中的n个单词（w[1:n]are the n words in the input sentence）
　iv. i 是将要被标注的单词的位置索引（i is the index of the word being tagged）
　χ是所有可能的“历史”集合（χis the set of all possible histories）

未完待续：第二部分

附：课程及课件pdf下载MIT英文网页地址：
　　　http://people.csail.mit.edu/regina/6881/

注：本文遵照麻省理工学院开放式课程创作共享规范翻译发布，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/mit-nlp-fifth-lesson-maximum-entropy-and-log-linear-models-first-part/

相关文章:

1. MIT自然语言处理第五讲：最大熵和对数线性模型（第二部分）
2. MIT自然语言处理第五讲：最大熵和对数线性模型（第三部分）
3. MIT自然语言处理第五讲：最大熵和对数线性模型（第四部分）
4. MIT自然语言处理第五讲：最大熵和对数线性模型（第五部分）
5. MIT自然语言处理第四讲：标注（第一部分）
6. MIT自然语言处理第四讲：标注（第四部分）
7. MIT自然语言处理第四讲：标注（第二部分）
8. MIT自然语言处理第四讲：标注（第三部分）
9. MIT自然语言处理第二讲：单词计数（第一部分）
10. MIT自然语言处理第三讲：概率语言模型（第一部分）

四、 结论（Conclusions）
a) 标注是一个相对比较简单的任务，至少在一个监督框架下对于英语来说（Tagging is relatively easy task (at least, in a supervised framework, and for English)）
b) 影响标注器性能的因素包括（Factors that impact tagger performance include）:
　i. 训练集数量（The amount of training data available）
　ii. 标记集（The tag set）
　iii. 训练集和测试集的词汇差异（The difference in vocabulary between the training and the testing）
　iv. 未登录词（Unknown words）
c) TBL和HMM框架可用于其他自然语言处理任务（TBL and HMM framework can be used for other tasks）

第四讲结束！
第五讲：最大熵和对数线性模型

附：课程及课件pdf下载MIT英文网页地址：
　　　http://people.csail.mit.edu/regina/6881/

注：本文遵照麻省理工学院开放式课程创作共享规范翻译发布，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：
http://www.52nlp.cn/mit-nlp-fourth-lesson-tagging-fourth-part/

相关文章:

1. MIT自然语言处理第四讲：标注（第三部分）
2. MIT自然语言处理第四讲：标注（第二部分）
3. MIT自然语言处理第四讲：标注（第一部分）
4. MIT自然语言处理第五讲：最大熵和对数线性模型（第一部分）
5. MIT自然语言处理第二讲：单词计数（第四部分）
6. MIT自然语言处理第三讲：概率语言模型（第四部分）
7. MIT自然语言处理第五讲：最大熵和对数线性模型（第三部分）
8. MIT自然语言处理第五讲：最大熵和对数线性模型（第四部分）
9. MIT自然语言处理第五讲：最大熵和对数线性模型（第二部分）
10. HMM学习最佳范例六：维特比算法5

未完待续：第四部分

附：课程及课件pdf下载MIT英文网页地址：
　　　http://people.csail.mit.edu/regina/6881/

注：本文遵照麻省理工学院开放式课程创作共享规范翻译发布，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：
http://www.52nlp.cn/mit-nlp-fourth-lesson-tagging-third-part/

相关文章:

1. MIT自然语言处理第四讲：标注（第四部分）
2. MIT自然语言处理第四讲：标注（第二部分）
3. MIT自然语言处理第四讲：标注（第一部分）
4. MIT自然语言处理第五讲：最大熵和对数线性模型（第三部分）
5. MIT自然语言处理第三讲：概率语言模型（第三部分）
6. MIT自然语言处理第三讲：概率语言模型（第二部分）
7. MIT自然语言处理第二讲：单词计数（第三部分）
8. MIT自然语言处理第二讲：单词计数（第一部分）
9. MIT自然语言处理第一讲：简介和概述（第三部分）
10. MIT自然语言处理第五讲：最大熵和对数线性模型（第一部分）

学习标注（Learning to Tag）
　* 基于转换的学习（Transformation-based Learning）
　* 隐马尔科夫标注器（Hidden Markov Model Taggers）
　* 对数线性模型（Log-linear models）

二、 基于转换的学习（Transformation-based Learning ——TBL）
a) 概述：
　i. TBL 介于符号法和基于语料库方法之间（TBL is “in between” symbolic and corpus-based methods）；
　ii. TBL利用了更广泛的词汇知识和句法规则——很少的参数估计（TBL exploit a wider range of lexical and syntactic regularities (very few parameters to estimate)）
　iii. TBL关键部分（Key TBL components）：
　　1. 一个容许的用于“纠错”的转换规范（a specification of which “error-correcting” transformations are admissible）
　　2. 学习算法（the learning algorithm）
b) 转换（Transformations）
　i. 重写规则(Rewrite rule)： tag1 → tag2, 如果C满足某个条件（if C holds）
　　– 模板是手工选择的（Templates are hand-selected）
　ii. 触发条件（Triggering environment (C)）：:
　　1. 标记触发（tag-triggered）
　　2. 单词触发（word-triggered）
　　3. 形态触发（morphology-triggered）
c) 转换模板（Transformation Templates）
　i. 图略；
　ii. 附：TBL算法的提出者Eric Brill（1995-Transformation-Based Error-Driven Learning and Natural Language Processing: A Case Study in Part of Speech Tagging)中的模板：
　　1. The preceding (following) word is tagged z.
　　2. The word two before (after) is tagged z.
　　3. One of the two preceding (following) words is tagged z.
　　4. One of the three preceding (following) words is tagged z.
　　5. The preceding word is tagged z and the following word is tagged w.
　　6. The preceding (following) word is tagged z and the word two before (after) is tagged w.
　　当条件满足时，将标记１变为标记２（Change tag１ to tag ２ when），其中变量a，b，z和w在词性集里取值（where a, b, z and w are variables over the set of parts of speech）。
　iii. 举例：
　源标记　　　　目标标记　　　　触发条件
　NN 　　　　　　VB 　　　　　previous tag is TO
　VBP 　　　　　VB 　　　　　one of the previous tags is MD
　JJR　　　　　　JJR 　　　　　next tag is JJ
　VBP　　　　　　VB 　　　　　one of the prev. two words is “n’t”
d) TBL的学习（Learning component of TBL）：
　i. 贪婪搜索转换的最优序列（Greedy search for the optimal sequence of transformations）：
　　1. 选择最好的转换（Select the best transformations）；
　　2. 决定它们应用的顺序（Determine their order of applications）；
e) 算法（Algorithm）
　注释（Notations）：
　　1. Ck — 第k次迭代时的语料库标注（corpus tagging at iteration k）
　　2. E(Ck) — k次标注语料库的错误数（the number of mistakes in tagged corpus）
　C0 := corpus with each word tagged with its most frequent tag
　for k:= 0 step 1 do
　　v:=the transformation ui that minimizes r(ui(Ck))
　　if (E(Ck)− E(v(Ck)) < then break fi
　　Ck+1 := v(Ck)
　　τk+1 := τ
　end
　输出序列（Output sequence）: τ1,...,τn
f) 初始化（Initialization）
　i. 备选方案（Alternative approaches）
　　1. 随机（random）
　　2. 频率最多的标记（most frequent tag）
　　3. ...
　ii. 实际上TBL对于初始分配并不敏感（In practice, TBL is not sensitive to the original assignment）
g) 规则应用（Rule Application）：
　i. 从左到右的应用顺序（Left-to-right order of application）
　ii. Immediate vs delayed effect:
　　Consider “A → B if the preceding tag is A”
　　　– Immediate: AAAA →?
　　　– Delayed: AAAA → ?
h) 规则应用（Rule Selection）：
　i. 我们选择模板及其相应的实例（We select both the template, and its instantiation）；
　ii. 每个规则对已给出的标注进行修改（Each rule τ modifies given annotations）
　　1. 某些情况下提高（improves in some places ）：Cimproved(τ)
　　2. 某些情况下降低（worsens in some places）：Cworsened (τ)
　　3. 对剩余数据不触动（does not touch the remaining data）
　iii. 规则的贡献是（The contribution of the rule is）：
　　Cimproved(τ)− Cworsened (τ)
　iv. 第i次迭代的规则选择（Rule selection at iteration i）：
　　τ_selected (i)= argmax_τ_contrib(τ)
i) TBL标注器（The Tagger）：
　i. 输入（Input）：
　　1. 未标注的数据（untagged data）；
　　2. 经由学习器学习得到规则（S）（rules (S) learned by the learner）；
　ii. 标注（Tagging）：
　　1. 使用与学习器相同的初始值（use the same initialization as the learner did）
　　2. 应用所有学习得到的规则，保持合适的应用顺序（apply all the learned rules ，keep the proper order of application)
　　3. 最后的即时数据为输出（the last intermediate data is the output）
j) 讨论（Discussion）
　i. TBL的时间复杂度是多少（What is the time complexity of TBL）?
　ii. 有无可能建立一个无监督的TBL标注器（Is it possible to develop an unsupervised TBL tagger）?
k) 与其他模型的关系（Relation to Other Models）：
　i. 概率模型（Probabilistic models）：
　　1. “k-best”标注（“k-best” tagging）；
　　2. 对先验知识编码（encoding of prior knowledge）；
　ii. 决策树（Decision Trees）
　　1. TBL 很有效（TBL is more powerful (Brill, 1995)）；
　　2. TBL对于过度学习“免疫”（TBL is immune to overfitting）。

关于TBL，《自然语言处理综论》第8章有更通俗的解释和更详细的算法说明。

未完待续：第三部分

附：课程及课件pdf下载MIT英文网页地址：
　　　http://people.csail.mit.edu/regina/6881/

注：本文遵照麻省理工学院开放式课程创作共享规范翻译发布，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：
http://www.52nlp.cn/mit-nlp-fourth-lesson-tagging-second-part/

相关文章:

1. MIT自然语言处理第五讲：最大熵和对数线性模型（第一部分）
2. MIT自然语言处理第四讲：标注（第四部分）
3. MIT自然语言处理第四讲：标注（第三部分）
4. MIT自然语言处理第四讲：标注（第一部分）
5. MIT自然语言处理第三讲：概率语言模型（第二部分）
6. MIT自然语言处理第五讲：最大熵和对数线性模型（第二部分）
7. MIT自然语言处理第二讲：单词计数（第一部分）
8. MIT自然语言处理第一讲：简介和概述（第二部分）
9. MIT开放式课程“自然语言处理”介绍
10. MIT自然语言处理第二讲：单词计数（第四部分）

上一讲主要内容回顾（Last time）
　语言模型(Language modeling):
　　n-gram模型（n-gram models）
　　语言模型评测（LM evaluation）
　平滑(Smoothing):
　　打折（Discounting）
　　回退（Backoff）
　　插值（Interpolation）
本讲主要内容（Today）：
　标注（Tagging）

一、 基本介绍
a) 标注问题（Tagging）
　i. 任务（Task）: 在句子中为每个词标上合适的词性（Label each word in a sentence with its appropriate part of speech）
　ii. 输入（Input）: Our enemies are innovative and resourceful , and so are we. They never stop thinking about new ways to harm our country and our people, and neither do we.
　iii. 输出（Output）: Our/PRP$ enemies/NNS are/VBP innovative/JJ and/CC resourceful/JJ ,/, and/CC so/RB are/VB we/PRP ?/?. They/PRP never/RB stop/VB thinking/VBG about/IN new/JJ ways/NNS to/TO harm/VB our/PROP$ country/NN and/CC our/PRP$ people/NN, and/CC neither/DT do/VB we/PRP.
b) Motivation
　i. 词性标注对于许多应用领域是非常重要的（Part-of-speech(POS) tagging is important for many applications）
　　1. 语法分析（Parsing）
　　2. 语言模型（Language modeling）
　　3. 问答系统和信息抽取（Q&A and Information extraction）
　　4. 文本语音转换（Text-to-speech）
　ii. 标注技术可用于各种任务（Tagging techniques can be used for a variety of tasks）
　　1. 语义标注（Semantic tagging）
　　2. 对话标注（Dialogue tagging）
c) 如何确定标记集（How to determine the tag set）?
　i. “The definition [of the parts of speech] are very far from having attained the degree of exactitude found in Euclidean geometry” Jespersen, The Philosophy of Grammar
　ii. 粗糙的词典类别划分基本达成一致至少对某些语言来说（Agreement on coarse lexical categories (at least, for some languages)）
　　1. 封闭类（Closed class）: 介词，限定词，代词，小品词，助动词（prepositions, determiners, pronouns, particles, auxiliary verbs）
　　2. 开放类（Open class）: 名词，动词，形容词和副词（nouns, verbs, adjectives and adverbs）
　iii. 各种粒度的多种标记集（Multiple tag sets of various granularity）
　　1. Penn tag set (45 tags), Brown tag set (87 tags), CLAWS2 tag set (132 tags)
　　2. 示例：Penn Tree Tags
　　标记（Tag） 说明（Description） 举例（Example）
　　CC 　　　　　conjunction 　　　　and, but
　　DT 　　　　　determiner 　　　　　a, the
　　JJ 　　　　　　adjective 　　　　　red
　　NN 　　　　　noun, sing. 　　　　　rose
　　RB 　　　　　　adverb 　　　　　　quickly
　　VBD 　　　　verb, past tense 　　　grew
d) 标注难吗（Is Tagging Hard）?
　i. 举例：“Time flies like an arrow”
　ii. 许多单词可能会出现在几种不同的类别中（Many words may appear in several categories）
　iii. 然而，大多数单词似乎主要在一个类别中出现（However, most words appear predominantly in one category）
　　1. “Dumb”标注器在给单词标注最常用的标记时获得了90%的准确率（“Dumb” tagger which assigns the most common tag to each word achieves 90% accuracy (Charniak et al., 1993)）
　　2. 对于90%的准确率我们满足吗（Are we happy with 90%）?
　iv. 标注的信息资源（Information Sources in Tagging）：
　　1. 词汇（Lexical）: 观察单词本身（look at word itself）
　　单词（Word） 名词（Noun） 动词（Verb） 介词（Preposition）
　　flies 　　　　　21 　　　　　23 　　　　　0
　　like 　　　　　10 　　　　　30 　　　　　21
　　2. 组合（Syntagmatic）: 观察邻近单词（look at nearby words）
　　——哪个组合更像（What is more likely）: “DT JJ NN” or “DT JJ VBP“?

未完待续：第二部分

附：课程及课件pdf下载MIT英文网页地址：
　　　http://people.csail.mit.edu/regina/6881/

注：本文遵照麻省理工学院开放式课程创作共享规范翻译发布，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：
http://www.52nlp.cn/mit-nlp-fourth-lesson-tagging-first-part/

相关文章:

1. MIT自然语言处理第四讲：标注（第四部分）
2. MIT自然语言处理第四讲：标注（第三部分）
3. MIT自然语言处理第四讲：标注（第二部分）
4. MIT自然语言处理第五讲：最大熵和对数线性模型（第一部分）
5. MIT自然语言处理第二讲：单词计数（第一部分）
6. MIT自然语言处理第五讲：最大熵和对数线性模型（第三部分）
7. MIT自然语言处理第五讲：最大熵和对数线性模型（第二部分）
8. MIT自然语言处理第一讲：简介和概述（第一部分）
9. MIT自然语言处理第三讲：概率语言模型（第一部分）
10. MIT自然语言处理第二讲：单词计数（第三部分）

六、 插值及回退
a) The Bias-Variance Trade-Off
　i. 未平滑的三元模型估计(Unsmoothed trigram estimate)：　　　　　　
　　
　ii. 未平滑的二元模型估计(Unsmoothed bigram estimate）：
　　　
　iii. 未平滑的一元模型估计(Unsmoothed unigram estimate)：
　　　
　iv. 这些不同的估计中哪个和“真实”的概率最接近（How close are these different estimates to the “true” probability )?
b) 插值（Interpolation）
　i. 一种解决三元模型数据稀疏问题的方法是在模型中混合使用受数据稀疏影响较小的二元模型和一元模型（One way of solving the sparseness in a trigram model is to mix that model with bigram and unigram models that suffer less from data sparseness）。
　ii. 权值可以使用期望最大化算法（EM）或其它数值优化技术设置（The weights can be set using the Expectation-Maximization Algorithm or another numerical optimization technique）
　iii. 线性插值（Linear Interpolation)
　　
　　
　　这里并且 对于所有的 i
　iv. 参数估计（Parameter Estimation）
　　1. 取出训练集的一部分作为“验证”数据（Hold out part of training set as “validation” data）
　　2. 定义作为验证集中三元集 的出现次数（Define to be the number of times the trigram is seen in validation set）
　　3. 选择去最大化(Choose to maximize):

　　这里并且 对于所有的 i
　　注：关于参数估计的其他内容，由于公式太多，这里略，请参考原始课件
c)Kats回退模型-两元（Katz Back-Off Models (Bigrams)）：
　i. 定义两个集合（Define two sets）：
　　
　　
　ii. 一种两元模型（A bigram model）：


　iii. 定义（definitions）
　　1. Kats对于Count(x)<5使用Good-Turing方法,对于Count(x)>=5令(Katz uses Good-Turing method for Count(x)< 5, and for Count(x)>=5)
　　2. “Kneser-Ney”方法（“Kneser-Ney” method）：
　　　,其中
　　　是频率为1的元素个数（ is a number of elements with frequency 1)
　　　是频率为2的元素个数（ is a number of elements with frequency 2)

七、 综述
a) N元模型的弱点（Weaknesses of n-gram Models）
　i. 有何想法（Any ideas）?
　　短距离（Short-range）
　　中距离（Mid-range）
　　长距离（Long-range）
b) 更精确的模型（More Refined Models）
　i. 基于类的模型（Class-based models）
　ii. 结构化模型（Structural models）
　iii. 主题和长距离模型（Topical and long-range models）
c) 总结（Summary）
　i. 从一个词表开始（Start with a vocabulary）
　ii. 选择一种模型（Select type of model）
　iii. 参数估计（Estimate Parameters）
d) 工具包参考：
　i. CMU-Cambridge language modeling toolkit:
　　http://mi.eng.cam.ac.uk/~prc14/toolkit.html
　ii.SRILM – The SRI Language Modeling Toolkit:
　　http://www.speech.sri.com/projects/srilm/

第三讲结束！
第四讲：标注

附：课程及课件pdf下载MIT英文网页地址：
　　　http://people.csail.mit.edu/regina/6881/

注：本文遵照麻省理工学院开放式课程创作共享规范翻译发布，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：
http://www.52nlp.cn/mit-nlp-third-lesson-probabilistic-language-modeling-sixth-part/

相关文章:

1. MIT自然语言处理第三讲：概率语言模型（第四部分）
2. MIT自然语言处理第三讲：概率语言模型（第五部分）
3. MIT自然语言处理第三讲：概率语言模型（第三部分）
4. MIT自然语言处理第三讲：概率语言模型（第二部分）
5. MIT自然语言处理第三讲：概率语言模型（第一部分）
6. MIT自然语言处理第四讲：标注（第三部分）
7. MIT自然语言处理第五讲：最大熵和对数线性模型（第三部分）
8. MIT自然语言处理第五讲：最大熵和对数线性模型（第二部分）
9. MIT自然语言处理第四讲：标注（第二部分）
10. MIT自然语言处理第五讲：最大熵和对数线性模型（第五部分）