随机变量概述

统计学的本质是从具有不可预测性的数据中提取信息，随机变量则是为这种可变性建立模型的数学工具. 在每一次观测中，随机变量随机取不同的值. 我们无法提前预测随机变量的精确取值，但是可以对可能的取值做出概率性的刻画. 也就是说，我们可以描述随机变量的取值的分布. 本章简要回顾应用随机变量时所涉及的专业知识，以及一些常用的结果.

累积分布函数

随机变量（r.v.） 的累积分布函数（c.d.f.）是满足下式的函数  :

即， 给出了  的取值小于或等于  的概率. 显然， ， 并且  是单调函数. 该定义的一个有用的结论是，如果  是连续函数，那么  在 [0, 1] 上呈均匀分布：它取 0 和 1 之间任意值的概率是相等的. 这是因为

（如果  是连续函数），那么后者是 [0, 1] 上的均匀随机变量的累积分布函数.

定义累积分布函数的反函数为  . 当  为连续函数时， 正是  在一般意义下的反函数.  通常叫作  的分位函数. 如果  在[0, 1] 上呈均匀分布，那么  的分布就是  的累积分布函数  . 对于可计算的 ，在给定均匀随机偏差的产生方式的前提下，上述定义给出了任意分布下的随机变量的生成方法.

令  为 0 和 1 之间的一个数.  的  分位数是一个数值， 小于或等于该值的概率是  ，即  . 分位数有广泛的应用，其中一个应用是验证  是否是累积分布函数为  的随机变量的观测值. 将  按顺序排列，把它们作为“观测分位数”. 这些点和理论上的分位点 共同绘制的图叫作分位数—分位数图. 如果观测值来自于累积分布函数为  的分布， 那么得到的 QQ 图应该接近直线.

概率函数与概率密度函数

在很多统计学方法中，描述随机变量取某个特定值的概率的函数比累积分布函数更有用. 为了探讨这类函数，首先需要区分取离散值（例如非负整数）的随机变量和取值为实数轴上的区间的随机变量.

对于离散型随机变量  ，概率函数（又叫概率质量函数） 是满足下式的函数：

显然，0 ，并且因为  的取值一定存在，所以对  的所有可能取值（记为  ）求和可得 .

对于连续型随机变量  ，因为它所有可能的取值有无限个，所以取任意特定值的概率一般是 0，因此，概率函数对连续型随机变量不适用. 取而代之的是概率密度函数  ，它给出了  在  附近的单位区间内取值的概率，即  . 更加正式的定义是，对任意常数  ，

显然， 必须满足  且 . 注意，  ，因此如果  存在，那么  . 附录 A 给出了一些常用的标准分布的概率函数或概率密度函数.

除特别注明外，后续几节主要考虑连续型随机变量，用适当的求和代替积分， 可以得到等价的对离散型随机变量适用的结果. 为了简洁起见，约定当自变量不同时，概率密度函数不同（例如， 和  表示不同的概率密度函数）

随机向量

从单次观测中很难得到有用的信息. 有效的统计分析需要多重观测和同时处理多元随机变量的能力. 因此，我们需要概率密度函数的多元形式. 二维的情形能够充分阐释所需的概念，因此考虑随机变量  和  .

设  是  平面上的任意区域， 和  的联合概率密度函数  是满足下式的函数：

因此， 在  的取值是  平面上单位面积的概率. 设  是包含点  的面积为  的小区域，那么  . 同单变量的概率密度函数一样， 是非负的，并且在  上的积分值为 1.

例图1-1 给出了下式中的联合概率密度函数的图像.

该概率密度函数下的两个概率值的估计如图1-2所示.

边缘分布

继续沿用  和  的例子，忽略其中一个变量， 或  的概率密度函数可以通过  来计算. 在给定  的条件下， 的概率密度就是  的边缘概率密度函数. 由概率密度函数的定义显然可以得到

的定义同理.

条件分布

假设已知  取定值  ，那么关于  的分布，我们有什么结论？因为  和  的联合概率密度函数是  ，所以在给定  的条件下，我们预计x的密度与  成正比，即

其中  是常数.如果  是一个概率密度函数，那么它一定能够取到积分值 1. 因此

其中  表示  取  时的边缘密度.因此我们有：

定义 如果  和  的联合概率密度函数是  ，那么在  的条件下， 的条件密度是

(1.3)

假设  .

注意，当  取定值  时，这是随机变量  ![](https://img.6aiq.co