分类目录归档:PRML

PRML读书会第四章 Linear Models for Classification

PRML读书会第四章 Linear Models for Classification

主讲人 planktonli

planktonli(1027753147) 19:52:28

现在我们就开始讲第四章,第四章的内容是关于 线性分类模型,主要内容有四点:
1) Fisher准则的分类,以及它和最小二乘分类的关系 (Fisher分类是最小二乘分类的特例)
2) 概率生成模型的分类模型
3) 概率判别模型的分类模型
4) 全贝叶斯概率的Laplace近似
需要注意的是,有三种形式的贝叶斯:
1) 全贝叶斯
2) 经验贝叶斯
3) MAP贝叶斯
我们大家熟知的是 MAP贝叶斯
MAP(poor man’s Bayesian):不涉及marginalization,仅是一种按后验概率最大化的point estimate。这里的MAP(poor man’s Bayesian)是属于 点概率估计的。而全贝叶斯可以看作对test样本的所有参数集合的加权平均,PRML说的Bayesian主要还是指Empirical Bayesian: 继续阅读

Start your future on Coursera today.

PRML读书会第三章 Linear Models for Regression

PRML读书会第三章 Linear Models for Regression

主讲人 planktonli

planktonli(1027753147) 18:58:12
大家好,我负责给大家讲讲 PRML的第3讲 linear regression的内容,请大家多多指教,群主让我们每个主讲人介绍下自己,赫赫,我也说两句,我是 applied mathematics + computer science的,有问题大家可以直接指出,互相学习。大家有兴趣的话可以看看我的博客: http://t.qq.com/keepuphero/mine,当然我给大家推荐一个好朋友的,他对计算机发展还是很有心得的,他的网页http://www.zhizhihu.com/ 对machine learning的东西有深刻的了解。

好,下面言归正传,开讲第3章,第3章的名字是 linear regression,首先需要考虑的是: 为什么在讲完 introduction、probability distributions 之后就直讲 linear regression? machine learning的essence是什么?

机器学习的本质问题: 我个人理解,就是通过数据集学习未知的最佳逼近函数,学习的 收敛性\界 等等都是描述这个学习到的function到底它的性能如何。但是,从数学角度出发,函数是多样的,线性\非线性\跳跃\连续\非光滑,你可以组合出无数的函数,那么这些函数就组成了函数空间,在这些函数中寻找到一个满足你要求的最佳逼近函数,无疑大海捞针。我们再来回顾下第一章的 曲线拟和问题:

prml3-1

需要逼近的函数是: prml3-2,M阶的曲线函数可以逼近么?这是我们值得思考的问题。 继续阅读

Start your future on Coursera today.

PRML读书会第二章 Probability Distributions

PRML读书会第二章 Probability Distributions

主讲人 网络上的尼采

(新浪微博:@Nietzsche_复杂网络机器学习

网络上的尼采(813394698) 9:11:56

开始吧,先不要发言了,先讲PRML第二章Probability Distributions。今天的内容比较多,还是边思考边打字,会比较慢,大家不要着急,上午讲不完下午会接着讲。
顾名思义,PRML第二章Probability Distributions的主要内容有:伯努利分布、 二项式 –beta共轭分布、多项式分布 -狄利克雷共轭分布 、高斯分布 、频率派和贝叶斯派的区别联系 、指数族等。
先看最简单的伯努利分布:

prml2-1

最简单的例子就是抛硬币,正反面的概率。
再看二项式分布:

prml2-2

抛N次有m次是正面或反面的概率,所以伯努利分布是二项式分布的特例。

向大家推荐一本好书,陈希孺的《数理统计简史》,对数理统计的一些基本东西的来龙去脉介绍的很详细,这样有助于理解。先818二项式分布,正态分布被发现前,二项式分布是大家研究的主要内容。
由二项式分布可以推出其他很多分布形式,比如泊松定理:

prml2-3

泊松分布是二项式分布的极限形式,这个估计大家都推导过。由二项式分布也能推出正态分布。
贝叶斯思想也是当时对二项式分布做估计产生的,后来沉寂了一百多年。

数据少时用最大似然方法估计参数会过拟合,而贝叶斯方法认为模型参数有一个先验分布,因此共轭分布在贝叶斯方法中很重要,现在看二项式分布的共轭分布beta分布:

prml2-4

结合上面的二项式分布的形式,不难看出beta分布和二项式分布的似然函数有着相同的形式,这样用beta分布做二项式分布参数的先验分布,乘似然函数以后得到的后验分布依然是beta分布。 继续阅读

Start your future on Coursera today.

PRML读书会第一章 Introduction

PRML读书会第一章 Introduction

主讲人 常象宇

prml-introduction-1

大家好,我是likrain,本来我和网神说的是我可以作为机动,大家不想讲哪里我可以试试,结果大家不想讲第一章。估计都是大神觉得第一章比较简单,所以就由我来吧。我的背景是统计与数学,稍懂些计算机,大家以后有问题可以讨论。
今天我们来讲一下PRML第一章,这一章的内容是基于一些简单的例子对于机器学习中的基本概念给与介绍。这是为后续章节的介绍给一个铺垫。我今天讲的内容包括以下几个部分:

prml-introduction-2

把书上的知识点做了个总结大概。
首先我们来看一下,我个人理解的机器学习的定义:

prml-inro-3

机器学习的分类有很多种,一般是基于两点:数据类型与学习过程。
是否有标签->监督(分类,回归),半监督,无监督(聚类);
学习过程不同->主动学习,强化学习,转导学习。

prml-intro-4

继续阅读

Start your future on Coursera today.

PRML读书会前言

PRML读书会前言

@Nietzsche_复杂网络机器学习

读书会成立属于偶然,一次群里无聊到极点,有人说Pattern Recognition And Machine Learning这本书不错,加之有好友之前推荐过,便发了封群邮件组织这个读书会,采用轮流讲课的方式,如果任务能分配下去就把读书会当作群员的福利开始进行,分配不下去就算了。后来我的几位好友:网神兄、戴玮博士、张巍博士、planktonli老师、常象宇博士纷纷出来支持这个读书会。待任务分配完,设置好主持人和机动队员,我认为就不需要再参与了,但进行不久,也充当机动队员讲了第二、六、九、十一章,并承担了所有的整理回顾工作。随着读书会的进行渐渐发现PRML这本书可以用惊艳二字来形容,每讲一章之前我们都花费大量时间精力做准备,然后用聊天的方式白话讲课,尽量做到通俗易懂,一章内容太多便分几次讲,讲的不满意便重新讲,一共讲课23次,加上整理回顾前后进行了两遍,历时一年半这份讲稿合集才与大家见面。以下是各章的简介:

第一章Introduction由西安交通大学常象宇博士主讲,深入浅出的介绍了机器学习的基本概念、学习理论、模型选择、维灾等。

第二章Probability Distributions的贝塔-二项式、狄利克雷-多项式共轭、高斯分布、指数族等很基础也很重要。出于各种原因我前后讲了三次,直到比较满意为止。

理解机器学习莫过于从最基础的线性模型开始,第三章 Linear Models for Regression由西北大学planktonli老师主讲,介绍了线性基函数模型、正则化方法、贝叶斯线性回归及其与核函数的联系等内容,为后面几章打下了良好基础。

第四章Linear Models for Classification仍由西北大学planktonli老师主讲,介绍了贝叶斯的marginalization概念、Fisher线性判别、感知机、分类器概率生成和判别模型的区别与联系、逻辑回归的最大似然参数估计、贝叶斯逻辑回归的Laplace近似推断等内容。

第五章Neural Networks由网神(新浪微博:@豆角茄子麻酱凉面)主讲,精彩内容有:神经网络做回归和分类的训练目标函数、BP误差后向传播的链式求导法则、正则化、卷积网络等。

第六章Kernel Methods,介绍了核函数的定义、构建方法,通过线性回归的Dual Representations推导说明由基于特征到基于样本学习的转换;最后是动感十足的高斯过程Gaussian Processes,包括GP的协方差矩阵形式、超参、预测等内容。

第七章Sparse Kernel Machines由工业界高手‘网神’(新浪微博:@豆角茄子麻酱凉面)主讲。主要内容:推导了支持向量机(support vector machine)的Dual Representations;由KKT条件说明了解的稀疏性;为提高泛化能力增加松弛变量后的SVM;最后是加了先验有更稀疏解的RVM。

第八章Graphical Models由‘网神’(新浪微博:@豆角茄子麻酱凉面)主讲,精彩内容有:贝叶斯网络和马尔科夫随机场的概念、联合概率分解、条件独立表示;图的概率推断inference。

第九章Mixture Models and EM,主要内容有:Kmeans算法;混合高斯模型以及EM(Expectation Maximization)算法在GMM中的应用;一般EM算法性质的推导和证明。

第十章的主要内容是变分推断(Variational Inference),由中科院自动化所戴玮博士(新浪微博:@戴玮_CASIA)前后分三次讲完。精彩内容有:为什么需要近似推断、变分推断用到的KL散度、根据平均场(Mean Field)思想的分解以及迭代求最优解的推导,最后用了三个例子来加深理解。

第十一章的主要内容是MCMC(Markov Chain Monte Carlo),包括:马尔科夫链平稳分布的定义及其充分条件:细致平稳条件的证明;Metropolis-Hastings及其接受率满足细致平稳条件的推导,接受率恒为1的Gibbs Sampling;最后是Slice Sampling、Hamiltonian MCMC。

第十二章连续隐变量,由中科院自动化所戴玮博士(新浪微博:@戴玮_CASIA)分三次讲完。精彩内容有:从最大方差和最小重构误差两个角度解释了PCA;包含连续隐变量的概率生成模型PPCA,其最大似然闭式解的推导以及EM求解方法;核PCA的变换;最后介绍了Autoencoder、非线性流形思想

第十三章Sequential Data,由中科院软件所张巍博士(新浪微博:@张巍_ISCAS)主讲,精彩内容有:Hidden Markov Models的数据生成过程及其参数的EM求解方法、HMM的预测和解码。

最后一章Combining Models,由‘网神’(新浪微博:@豆角茄子麻酱凉面)主讲,精彩内容有:committees;Boosting、AdaBoost,并从最优化指数损失函数的角度对其步骤作了解释;最后是决策树和条件混合模型。

感谢以上PRML所有参讲人员,并对正在进行中的MLAPP(Machine Learning:A Probabilistic Perspective)读书会的参讲人员:黄浩军(新浪微博: @Copper_PKU)、余磊博士(新浪微博: @红烧鱼_机器学习)、SIAT(新浪微博: @priceton)、皮搋子狐狸(新浪微博: @unluckyAllen)、Zealot等人一并感谢。坚持把PRML这本书跟下来的同学也辛苦了。最后对QQ群、微博、微信等各个平台上所有参与和支持我们读书会的人表示感谢,有几次都想放弃了,是大家对机器学习的热情一直在推动着读书会前进。 继续阅读

Start your future on Coursera today.