标签归档:统计学

正态分布的前世今生(五)

(六) 开疆扩土,正态分布的进一步发展

19世纪初,随着拉普拉斯中心极限定理的建立与高斯正态误差理论的问世,正态分布开始崭露头角, 逐步在近代概率论和数理统计学中大放异彩。在概率论中,由于拉普拉斯的推动,中心极限定理发展 成为现代概率论的一块基石。而在数理统计学中,在高斯的大力提倡之下,正态分布开始逐步畅行于天下。

1. 论剑中心极限定理

先来说说正态分布在概率论中的地位,这个主要是由于中心极限定理的影响。 1776 年,拉普拉斯开始考虑一个天文学中的彗星轨道的倾角的计算问题,最终的问题涉及 独立随机变量求和的概率计算,也就是计算如下的概率值

 S_n = X_1 + X_2 + \cdots + X_n

P(a < S_n < b) = ?

在这个问题的处理上,拉普拉斯充分展示了其深厚的数学分析功底和高超的概率计算技巧,他首次引入了 特征函数(也就是对概率密度函数做傅立叶变换)来处理概率分布的神妙方法,而这一方法经过几代概率学家的发展, 在现代概率论里面占有极其重要的位置。基于这一分析方法,拉普拉斯通过近似计算, 在他的1812年发表的名著《概率分析理论》中给出了中心极限定理的一般描述:

[定理 Laplace, 1812] 假设 $ e_i (i=1, \cdots n)$ 为独立同分布的测量误差, 具有均值$\mu$ 和方差 $\sigma^2$。如果 $\lambda_1, \cdots, \lambda_2$ 为常数,$a>0$, 则有

 \displaystyle P(|\sum_{i=1}^n \lambda_i(e_i - \mu)| \le a \sqrt{\sum_{i=1}^n \lambda_i^2})\approx \frac{2}{\sqrt{2\pi}\sigma} \int_0^a e^{-\frac{x^2}{2\sigma^2}} dx

理科专业的本科生学习《概率论与数理统计》这门课程的时候, 除了学习棣莫弗-拉普拉斯中心极限定理,通常还学习如下中心极限定理的一般形式:

[Lindeberg-Levy 中心极限定理] 设$X_1,\cdots, X_n$ 独立同分布,且具有有限的均值 $\mu$ 和方差 $\sigma^2$ , 则在 $n \rightarrow \infty$ 时,有

 \displaystyle \frac{\sqrt{n}(\bar{X} - \mu)}{\sigma} \rightarrow N(0,1)

多么奇妙的性质,随意的一个概率分布中生成的随机变量, 在序列和(或者等价的求算术平均)的操作之下,表现出如此一致的行为,统一的规约到正态分布。 概率学家们进一步的研究结果更加令人惊讶,序列求和最终要导出正态分布的条件并不需要这么苛刻, 即便$X_1,\cdots, X_n$ 并不独立,也不具有相同的概率分布形式,很多时候他们求和的最终的归宿仍然是正态分布。 一切的纷繁芜杂都在神秘的正态曲线下被消解,这不禁令人浮想联翩。 中心极限定理恐怕是概率论中最具有宗教神秘色彩的定理,如果有一位牧师拿着 一本圣经向我证明上帝的存在,我是丝毫不会买账;可是如果他向我展示中心极限定理并且声称那是神迹, 我会很乐意倾听他的布道。如果我能坐着时光机穿越到一个原始部落中,我也一定带上中心极限定理,并 劝说部落的酋长把正态分布作为他们的图腾。

中心极限定理虽然表述形式简洁,但是严格证明它却非常困难。 中心极限定理就像一张大蜘蛛网,棣莫弗和拉普拉斯编织了它的雏形,可是这张网上漏洞太多,一个多世纪来, 数学家们就像蜘蛛一样前赴后继,努力想把所有的漏洞都补上。 在十九世纪,珀松(Poission)、狄利克莱(Dirichlet)、柯西(Cauchy)、贝塞尔(Bessel)这些大蜘蛛 都曾经试图对把这张网上的漏洞补上。从现代概率论来看角度, 整个十九世纪的经典概率理论并没有能输出一个一般意义下严格的证明。 而真正把漏洞补上的是来自俄罗斯的几位蜘蛛侠:切比雪夫(Chebyshev)、马尔可夫(Markov)和李雅普诺夫(Lyapunov)。 俄罗斯是一个具有优秀的数学传统的民族,产生过几位顶尖的的数学家,在现代概率论的发展中, 俄罗斯的圣彼得堡学派可以算是顶了半边天。 把漏洞补上的严格方案的雏形是从切比雪夫1887年的工作开始的,不过切比雪夫的证明存在一些漏洞。 马尔可夫和李雅普诺夫都是切比雪夫的学生,马尔科夫沿着老师的基于矩法的思路在蜘蛛网上辛勤编织,但洞还是补得不够严实; 李雅普诺夫不像马尔可夫那样深受老师的影响,他沿着拉普拉斯当年提出的基于特征函数的思路,于1901年给出了一个补洞的方法, 切比雪夫对这个方法大加赞赏,李雅普诺夫的证明被认为是第一个在一般条件下的严格证明; 而马尔科夫也不甘示弱,在1913年基于矩法也把洞给补严实了。

20世纪初期到中期,中心极限定理的研究几乎吸引了所有的概率学家,这个定理俨然成为了概率论的明珠,成为了各大概率论 武林高手华山论剑的场所。不知道大家对中心极限定理中的“中心”一词如何理解,许多人都认为"中心"这个词描述的是这个定理的 行为:以正态分布为中心。这个解释看起来确实合情合理,不过并不符合该定理被冠名的历史。 事实上,20世纪初概率学家大都称呼该定理为极限定理(Limit Theorem),由于该定理在概率论中 处于如此重要的中心位置,如此之多的概率学武林高手为它魂牵梦绕, 于是数学家波利亚(Polya)于1920年在该定理前面冠以"中心"一词,由此后续人们都称之为中心极限定理。


论剑中心极限定理

数学家们总是及其严谨苛刻的,给定了一个条件下严格证明了中心极限定理。数学家就开始 探寻中心极限定理成立的各种条件,询问这个条件是否充分必要条件,并且进一步追问序列和在该条件下以 什么样的速度收敛到正态分布。 1922年 Lindeberg 基于一个比较宽泛容易满足的条件,给中心极限定理提出了一个很容易理解的初等证明。 这个条件我们现在称之为Lindeberg 条件。然后概率学家 Feller 和 Levy 就开始追问Lindeberg 条件是充分必要的吗? 基于 Lindeberg 的工作, Feller 和 Levy 都于 1935 年独立的得到了中心极限定理成立的充分必要条件, 这个条件可以用直观的非数学语言描述如下:

[中心极限定理充要条件]  假设独立随机变量序列 $X_i$ 的中值为0, 要使序列和 $S=\sum_{i=1}^n X_i$ 的分布函数逼近正态分布,以下条件是充分必要的:

  1. 如果 $X_i$相对于序列和$S$的散布(也就是标准差)是不可忽略的,则 $X_i$ 的分布必须接近正态分布
  2. 对于所有可忽略的 $X_i$, 取绝对值最大的那一项,相对于可忽略项这个子序列和的散布,这个绝对值也是可忽略的

事实上这个充分必要条件发现的优先权,Feller 和 Levy 之间还出现了一定的争论。 在 Levy 证明这个充分必要条件的过程中, Levy发现了正态分布的一个有趣的性质。 我们在数理统计中都学过,如果两个独立随机变量 $X,Y$ 具有正态分布,则$S=X+Y$ 也具有正态分布。奇妙的是这个定理的逆定理也成立:

[正态分布的血统] 如果 $X,Y$ 是独立的随机变量,且 $S=X+Y$ 是正态分布,那么 $X,Y$ 也是正态分布。

正态分布真是很奇妙,就像蚯蚓一样具有再生的性质,你把它一刀两断,它生成两个正态分布; 或者说正态分布具有及其高贵的优良血统,正态分布的组成成分中只能包含正态分布,而不可能含有其它杂质。 1928 年 Levy 就猜到了这个定理,并使用这个定理于1935年对中心极限定理的充分必要条件作了证明。 但是 Levy 却无法证明正态分布的这个看上去及其简单的再生性质。直到 1936 年 Cramer 才给出了证明。

中心极限定理成为了现代概率论中首屈一指的定理,事实上中心极限定理在现代概率论里面已经不是指一个定理, 而是指一系列相关的定理。 统计学家们也基于该定理不断的完善拉普拉斯提出的元误差理论(the hypothesis of elementary errors), 并据此解释为何世界上正态分布如此常见。而中心极限定理同时成为了现代统计学中大样本理论的基础。

正态分布的前世今生(二)

三、最小二乘法,数据分析的瑞士军刀

第二个故事的主角是欧拉(Euler), 拉普拉斯(Lapalace),勒让德Legendre) 和高斯(Gauss),故事发生的时间是十八世纪中到十九世纪初。十七、十八世纪是科学发展的黄金年代,微积分的发展和牛顿万有引力定律的建立,直接的推动了天文学和测地学的迅猛发展。当时的大科学家们都在考虑许多天文学上的问题。几个典型的问题如下:

  • 土星和木星是太阳系中的大行星,由于相互吸引对各自的运动轨道产生了影响,许多大数学家,包括欧拉和拉普拉斯都在基于长期积累的天文观测数据计算土星和木星的运行轨道。
  • 勒让德承担了一个政府给的重要任务,测量通过巴黎的子午线的长度,
  • 海上航行经纬度的定位。主要是通过对恒星和月面上的一些定点的观测来确定经纬度。

这些天文学和测地学的问题,无不涉及到数据的多次测量,数据的计算与分析;十七、十八世纪的天文观测,也积累了大量的数据需要进行分析和计算。很多年以前,学者们就已经经验性的认为,对于有误差的测量数据,多次测量取平均是比较好的处理方法,虽然缺乏理论上的论证,也不断的受到一些人的质疑。取平均作为一种异常直观的方式,已经被使用了千百年,在多年积累的数据的处理经验中也得到一定的验证,被认为是一种良好的数据处理方法。

以上涉及的问题,我们直接关心的目标量往往无法直接观测,但是一些相关的量是可以观测到的,而通过建立数学模型,最终可以解出我们关心的量。这些天文学的问题大体都可以转换为描述如下的问题:有我们想估计的量 $\beta_0,\cdots,\beta_p$, 另有若干个可以测量的量 $x_1,\cdots,x_p, y$, 这些量之间有线性关系
 y = \beta_0 + \beta_1x_1 + \cdots + \beta_px_p

如何通过多组观测数据求解出参数$\beta_0,\cdots,\beta_p$呢? 欧拉和拉普拉斯采用的都是求解线性方程组的方法。

\begin{eqnarray}
\left\{
\begin{array}{lll}
y_1 = \beta_0 + \beta_1x_{11} + \cdots + \beta_px_{p1} \\
y_2 = \beta_0 + \beta_1x_{12} + \cdots + \beta_px_{p2} \\
\vdots \\
y_n = \beta_0 + \beta_1x_{1n} + \cdots + \beta_px_{pn}
\end{array}
\right.
\end{eqnarray}

但是面临的一个问题是,有 $n$ 组观测数据,$p + 1$ 个变量, 如果 $n > p + 1$, 则得到的线性矛盾方程组,无法直接求解。 所以欧拉和拉普拉斯采用的方法都是通过一定的对数据的观察,把$n$个线性方程分为 $p+1$组,然后把每个组内的方程线性求和后归并为一个方程,从而就把$n$个方程的方程组划归为$p+1$个方程的方程组,进一步解方程求解参数。这些方法初看有一些道理,但是都过于 adhoc, 无法形成统一处理这一类问题的一个通用解决框架。

以上求解线性矛盾方程的问题在现在的本科生看来都不困难,就是统计学中的线性回归问题,直接用最小二乘法就解决了,可是即便如欧拉、拉普拉斯这些数学大牛,当时也未能对这些问题提出有效的解决方案。可见在科学研究中,要想在观念上有所突破并不容易。有效的最小二乘法是勒让德在 1805 年发表的,基本思想就是认为测量中有误差,所以所有方程的累积误差为

累积误差 = $\sum($ 观测值 - 理论值 $)^2$

我们求解出导致累积误差最小的参数即可。

\begin{eqnarray}
\label{least-square-error}
\begin{array}{lll}
\hat{\beta}& = & \displaystyle argmin_{\beta} \sum_{i=1}^n e_i^2 \\
& = & \displaystyle
argmin_{\beta} \sum_{i=1}^n [y_i - (\beta_0 + \beta_1x_{1i} + \cdots + \beta_px_{pi})]^2
\end{array}
\end{eqnarray}

勒让德在论文中对最小二乘法的优良性做了几点说明:

  •  最小二乘使得误差平方和最小,并在各个方程的误差之间建立了一种平衡,从而防止某一个极端误差取得支配地位
  •  计算中只要求偏导后求解线性方程组,计算过程明确便捷
  • 最小二乘可以导出算术平均值作为估计值

对于最后一点,从统计学的角度来看是很重要的一个性质。推理如下:假设真值为 $\theta$, $x_1, \cdots, x_n$为n次测量值, 每次测量的误差为$ e_i = x_i - \theta $,按最小二乘法,误差累积为

 L(\theta) = \sum_{i=1}^n e_i^2 = \sum_{i=1}^n (x_i - \theta)^2

求解$\theta$ 使得 $L(\theta)$达到最小,正好是算术平均 $\bar{x} = \frac{\sum_{i=1}^n x_i}{n} $。

由于算术平均是一个历经考验的方法,而以上的推理说明,算术平均是最小二乘的一个特例,所以从另一个角度说明了最小二乘方法的优良性,使我们对最小二乘法更加有信心。

最小二乘法发表之后很快得到了大家的认可接受,并迅速的在数据分析实践中被广泛使用。不过历史上又有人把最小二乘法的发明归功于高斯,这又是怎么一回事呢。高斯在1809年也发表了最小二乘法,并且声称自己已经使用这个方法多年。高斯发明了小行星定位的数学方法,并在数据分析中使用最小二乘方法进行计算,准确的预测了谷神星的位置。

扯了半天最小二乘法,没看出和正态分布有任何关系啊,离题了吧?单就最小二乘法本身,虽然很实用,不过看上去更多的算是一个代数方法,虽然可以推导出最优解,对于解的误差有多大,无法给出有效的分析,而这个就是正态分布粉墨登场发挥作用的地方。勒让德提出的最小二乘法,确实是一把在数据分析领域披荆斩棘的好刀,但是刀刃还是不够锋利;而这把刀的打造后来至少一半功劳被归到高斯,是因为高斯不单独自的给出了造刀的方法,而且把最小二乘这把利刀的刀刃造得无比锋利,把最小二乘打造为了一把瑞士军刀。高斯拓展了最小二乘法,把正态分布和最小二乘法联系在一起,并使得正态分布在统计误差分析中确立了自己的定位,否则正态分布就不会被称为高斯分布了。 那高斯这位神人是如何把正态分布引入到误差分析之中,打造最小二乘这把瑞士军刀的呢?看下一个故事。

正态分布的前世今生(一)

神说,要有正态分布,就有了正态分布。
神看正态分布是好的,就让随机误差就服从了正态分布。

创世纪-数理统计

一、正态分布

学过基础统计学的同学大都对正态分布非常熟悉。这个钟型的分布曲线不但形状优雅,其密度函数写成数学表达式
 \displaystyle f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{{(x-\mu})^2}{2\sigma^2}}
也非常具有数学的美感。其标准化后的概率密度函数
 \displaystyle f(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}
更加的简洁漂亮,两个最重要的数学常量 $ \pi, e$ 都出现在了公式之中。在我个人的审美之中,它也属于 top-N 的最美丽的数学公式之一,如果有人问我数理统计领域哪个公式最能让人感觉到上帝的存在,那我一定投正态分布的票。因为这个分布戴着神秘的面纱,在自然界中无处不在,让你在纷繁芜杂的数据背后看到隐隐的秩序。

正态分布又通常被称为高斯分布,在科学领域,冠名权那是一个很高
的荣誉。去过德国的兄弟们还会发现,德国的钢镚和10马克的纸币上都留有高斯的头像和正态密度曲线。正态分布被冠名高斯分布,我们也容易认为是高斯发现了正态分布,其实不然,不过高斯对于正态分布的历史地位的确立是起到了决定性的作用。

正态曲线虽然看上去很美,却不是一拍脑袋就能想到的。我在本科学习数理统计的时候,课本一上来介绍正态分布就给出密度分布函数,却从来不说明这个分布函数是通过什么原理推导出来的。所以我一直搞不明白数学家当年是怎么找到这个概率分布曲线的,又是怎么发现误差服从这个奇妙的分布的。直到我读研究生的时候我的导师给我介绍了陈希儒院士的《数理统计简史》这本书,看了之后才了解了正态分布曲线从发现到被人们重视进而广泛应用,也是经过了几百年的历史。

正态分布的这段历史是很精彩的,我们通过讲几个故事来揭开她的神秘面纱。

二、邂逅,正态曲线的首次发现
第一个故事和概率论的发展密切相关,主角是棣莫弗(De Moivre) 和拉普拉斯(Laplace)。

拉普拉斯是个大科学家,被称为法国的牛顿;棣莫弗名气可能不算很大,不过大家应该应该都熟悉这个名字,因为我们在高中数学学复数的时候都学过棣莫弗定理$(cos\theta + i sin\theta)^n = cos(n\theta) + i sin(n\theta)$。

古典概率论发源于赌博,惠更斯、帕斯卡、费马、贝努力都是古典概率的奠基人,他们那会研究的概率问题大都来自赌桌上,最早的概率论问题是赌徒梅累在1654年向帕斯卡提出的如何分赌金的问题。统计学中的总体均值之所以被称为期望(Expectation), 就是源自惠更斯、帕斯卡这些人研究平均情况下一个赌徒在赌桌上可以期望自己赢得多少钱。

有一天一个哥们,也许是个赌徒,向棣莫弗提了一个和赌博相关
的一个问题:A,B 两人在赌场里赌博,A,B各自的获胜概率是$p, q=1-p$,赌 n 局,若 A 赢的局数 $X > np$, 则 A 付给赌场 $X-np$ 元,否则B 付给赌场 $np-X$ 元。 问赌场挣钱的期望值是多少。

问题并不复杂, 本质上是一个二项分布,最后求出的理论结果是
 2npq b(n, p, np)
其中 $b(n,p,i) = \binom{n}{i}p^iq^{n-i}$ 是常见的二项概率。 但是对具体的 $n$, 要把这个理论结果实际计算出数值结果可不容易, 因为其中的二项公式中有组合数.这就驱动 De Moivre寻找近似计算的方法计算。

与此相关联的另一个问题,是遵从二项分布的随机变量 $X \sim B(n,p)$, 求X 落在二项分布中心点一定范围的概率 $P_d = P(|X - np| \le d)$

对于 p=1/2 的情形, 棣莫弗 做了一些计算并得到了一些近似结果,但是还不够漂亮,幸运的是 棣莫弗 和 Stirling 处在同一个时代, 而且二人之间有联系,Stirling 公式是在数学分析中必学的一个重要公式(事实上Stirling 公式的形式其实是棣莫弗最先发现的,但是 Stirling 改进了公式)

 \displaystyle n! \sim \sqrt{2\pi n} (\frac{n}{e})^{n}

1733 年,棣莫弗很快利用 Stirling 公式进行计算并取得了重要的进展。考虑 n 是偶数的情形,令二项概率
b(i) = b(n, \frac{1}{2}, i) = \binom{n}{i}(\frac{1}{2})^n
通过 Stirling 公式做一些简单的计算容易得到,

 \displaystyle b(\frac{n}{2}) \sim \sqrt{\frac{2}{\pi n}}
 \displaystyle \frac{b(\frac{n}{2}+d)}{b(\frac{n}{2})} \sim e^{-\frac{2d^2}{n}}

于是有
 \displaystyle b(\frac{n}{2}+d) \sim \frac{2}{\sqrt{2 \pi n}}e^{-\frac{2d^2}{n}}

使用上式的结果,并在二项概率累加求和的过程中近似的使用定积分代替求和,很容易就能得到

 \displaystyle P(|\frac{X}{n} - \frac{1}{2}| \le \frac{c}{\sqrt{n}} ) \sim\int_{-2c}^{2c} \frac{1}{\sqrt{2\pi}} e^{-x^2/2} dx

看,正态分布的密度函数的形式在积分公式中出现了!这也就是我们在数理统计课本上学到的二项分布的极限分布是正态分布。

以上只是讨论了 $p=1/2$ 的情形, 棣莫弗也对 $p \ne 1/2$做了一些计算,后来拉普拉斯对 $p \ne 1/2$ 的情况做了更多的分析,并把二项分布的正态近似推广到了任意 $p$ 的情况。 这是第一次正态密度函数被数学家勾画出来,而且是以二项分布的极限分布的形式被推导出来的。 熟悉基础概率统计的同学们都知道这个结果其实叫棣莫弗-拉普拉斯中心极限定理。

[De Moivre-Laplace 中心极限定理]
设随机变量 $X_n (n=1,2,\cdots)$ 服从参数为 $p$ 的二项分布,则对任意的 $x$, 恒有
\displaystyle\lim_{n\rightarrow\infty}P\{ \frac{X_n - np}{\sqrt{np(1-p)}} \le x \}=\int_{-\infty}^x \frac{1}{\sqrt{2\pi}} e^{\frac{-t^2}{2}}dt

我们在大学学习数理统计的时候,学习的过程都是先学习了正态分布,然后才学习中心极限定理。而学习到正态分布的时候,直接就描述了其概率密度的数学形式,虽然数学上很漂亮,但是当时很容易困惑数学家们是如何凭空就找到这个分布的。读了陈希孺的《数理统计学简史》之后,我才明白正态分布的密度形式首次发现是在棣莫弗-拉普拉斯的中心极限定理中。数学家研究数学问题的进程很少是按照我们数学课本的安排顺序推进的,现代的数学课本都是按照数学内在的逻辑进行组织编排的,虽然逻辑结构上严谨优美,却把数学问题研究的历史痕迹抹得一干二净。DNA 双螺旋结构的发现者之一 Waston 在他的名著《DNA 双螺旋》序言中说:“科学的发现很少会像门外汉所想象的一样,按照直接了当合乎逻辑的方式进行的。”

棣莫弗 出他的发现后40年(大约是 1770), 拉普拉斯建立了中心极限定理较一般的形式,中心极限定理后续又被其它数学家们推广到了其它任意分布的情形,而不限于二项分布。后续的统计学家发现,一系列的重要统计量,在样本量 N 趋于无穷的时候, 其极限分布都有正态的形式, 这构成了数理统计学中大样本理论的基础。

棣莫弗在二项分布的计算中瞥见了正态曲线的模样,不过他并没有能展现这个曲线的美妙之处。棣莫弗的这个工作当时并没有引起人们足够的重视,原因在于棣莫弗 不是个统计学家,从未从统计学的角度去考虑其工作的意义。 正态分布(当时也没有被命名为正态分布) 在当时也只是以极限分布的形式出现,并没有在统计学,尤其是误差分析中发挥作用。这也就是正态分布最终没有被冠名 棣莫弗分布的重要原因。 那高斯做了啥工作导致统计学家把正态分布的这顶桂冠戴在了他的头上呢?这先得从最小二乘法的发展说起。下回分解:-)