标签归档:PRML读书会系列PDF

PRML读书会第十四章 Combining Models

PRML读书会第十四章 Combining Models

主讲人 网神

(新浪微博: @豆角茄子麻酱凉面

网神(66707180) 18:57:18

大家好,今天我们讲一下第14章combining models,这一章是联合模型,通过将多个模型以某种形式结合起来,可以获得比单个模型更好的预测效果。包括这几部分:
committees, 训练多个不同的模型,取其平均值作为最终预测值。

boosting: 是committees的特殊形式,顺序训练L个模型,每个模型的训练依赖前一个模型的训练结果。
决策树:不同模型负责输入变量的不同区间的预测,每个样本选择一个模型来预测,选择过程就像在树结构中从顶到叶子的遍历。
conditional mixture model条件混合模型:引入概率机制来选择不同模型对某个样本做预测,相比决策树的硬性选择,要有很多优势。

本章主要介绍了这几种混合模型。讲之前,先明确一下混合模型与Bayesian model averaging的区别,贝叶斯模型平均是这样的:假设有H个不同模型h,每个模型的先验概率是p(h),一个数据集的分布是:
整个数据集X是由一个模型生成的,关于h的概率仅仅表示是由哪个模型来生成的 这件事的不确定性。而本章要讲的混合模型是数据集中,不同的数据点可能由不同模型生成。看后面讲到的内容就明白了。
继续阅读

PRML读书会前言

PRML读书会前言

@Nietzsche_复杂网络机器学习

读书会成立属于偶然,一次群里无聊到极点,有人说Pattern Recognition And Machine Learning这本书不错,加之有好友之前推荐过,便发了封群邮件组织这个读书会,采用轮流讲课的方式,如果任务能分配下去就把读书会当作群员的福利开始进行,分配不下去就算了。后来我的几位好友:网神兄、戴玮博士、张巍博士、planktonli老师、常象宇博士纷纷出来支持这个读书会。待任务分配完,设置好主持人和机动队员,我认为就不需要再参与了,但进行不久,也充当机动队员讲了第二、六、九、十一章,并承担了所有的整理回顾工作。随着读书会的进行渐渐发现PRML这本书可以用惊艳二字来形容,每讲一章之前我们都花费大量时间精力做准备,然后用聊天的方式白话讲课,尽量做到通俗易懂,一章内容太多便分几次讲,讲的不满意便重新讲,一共讲课23次,加上整理回顾前后进行了两遍,历时一年半这份讲稿合集才与大家见面。以下是各章的简介:

第一章Introduction由西安交通大学常象宇博士主讲,深入浅出的介绍了机器学习的基本概念、学习理论、模型选择、维灾等。

第二章Probability Distributions的贝塔-二项式、狄利克雷-多项式共轭、高斯分布、指数族等很基础也很重要。出于各种原因我前后讲了三次,直到比较满意为止。

理解机器学习莫过于从最基础的线性模型开始,第三章 Linear Models for Regression由西北大学planktonli老师主讲,介绍了线性基函数模型、正则化方法、贝叶斯线性回归及其与核函数的联系等内容,为后面几章打下了良好基础。

第四章Linear Models for Classification仍由西北大学planktonli老师主讲,介绍了贝叶斯的marginalization概念、Fisher线性判别、感知机、分类器概率生成和判别模型的区别与联系、逻辑回归的最大似然参数估计、贝叶斯逻辑回归的Laplace近似推断等内容。

第五章Neural Networks由网神(新浪微博:@豆角茄子麻酱凉面)主讲,精彩内容有:神经网络做回归和分类的训练目标函数、BP误差后向传播的链式求导法则、正则化、卷积网络等。

第六章Kernel Methods,介绍了核函数的定义、构建方法,通过线性回归的Dual Representations推导说明由基于特征到基于样本学习的转换;最后是动感十足的高斯过程Gaussian Processes,包括GP的协方差矩阵形式、超参、预测等内容。

第七章Sparse Kernel Machines由工业界高手‘网神’(新浪微博:@豆角茄子麻酱凉面)主讲。主要内容:推导了支持向量机(support vector machine)的Dual Representations;由KKT条件说明了解的稀疏性;为提高泛化能力增加松弛变量后的SVM;最后是加了先验有更稀疏解的RVM。

第八章Graphical Models由‘网神’(新浪微博:@豆角茄子麻酱凉面)主讲,精彩内容有:贝叶斯网络和马尔科夫随机场的概念、联合概率分解、条件独立表示;图的概率推断inference。

第九章Mixture Models and EM,主要内容有:Kmeans算法;混合高斯模型以及EM(Expectation Maximization)算法在GMM中的应用;一般EM算法性质的推导和证明。

第十章的主要内容是变分推断(Variational Inference),由中科院自动化所戴玮博士(新浪微博:@戴玮_CASIA)前后分三次讲完。精彩内容有:为什么需要近似推断、变分推断用到的KL散度、根据平均场(Mean Field)思想的分解以及迭代求最优解的推导,最后用了三个例子来加深理解。

第十一章的主要内容是MCMC(Markov Chain Monte Carlo),包括:马尔科夫链平稳分布的定义及其充分条件:细致平稳条件的证明;Metropolis-Hastings及其接受率满足细致平稳条件的推导,接受率恒为1的Gibbs Sampling;最后是Slice Sampling、Hamiltonian MCMC。

第十二章连续隐变量,由中科院自动化所戴玮博士(新浪微博:@戴玮_CASIA)分三次讲完。精彩内容有:从最大方差和最小重构误差两个角度解释了PCA;包含连续隐变量的概率生成模型PPCA,其最大似然闭式解的推导以及EM求解方法;核PCA的变换;最后介绍了Autoencoder、非线性流形思想

第十三章Sequential Data,由中科院软件所张巍博士(新浪微博:@张巍_ISCAS)主讲,精彩内容有:Hidden Markov Models的数据生成过程及其参数的EM求解方法、HMM的预测和解码。

最后一章Combining Models,由‘网神’(新浪微博:@豆角茄子麻酱凉面)主讲,精彩内容有:committees;Boosting、AdaBoost,并从最优化指数损失函数的角度对其步骤作了解释;最后是决策树和条件混合模型。

感谢以上PRML所有参讲人员,并对正在进行中的MLAPP(Machine Learning:A Probabilistic Perspective)读书会的参讲人员:黄浩军(新浪微博: @Copper_PKU)、余磊博士(新浪微博: @红烧鱼_机器学习)、SIAT(新浪微博: @priceton)、皮搋子狐狸(新浪微博: @unluckyAllen)、Zealot等人一并感谢。坚持把PRML这本书跟下来的同学也辛苦了。最后对QQ群、微博、微信等各个平台上所有参与和支持我们读书会的人表示感谢,有几次都想放弃了,是大家对机器学习的热情一直在推动着读书会前进。 继续阅读