分布列、期望与方差

随机变量把试验结果映射为数值。期望描述概率加权的平均，方差描述偏离该平均的程度。

随机变量、分布列、期望与方差

随机变量是把试验结果对应为实数的函数。例如两次投币后正面出现的次数是随机变量；它可能取 $0,1,2$ ，每个数值对应一组试验结果。

设随机变量 $X$ 的不同可能值为 $x_1,\ldots,x_m$ ，记 $p_i=P(X=x_i)$ 。把数值与概率成对列出，称为 $X$ 的分布列。它必须满足

p_i\ge0,\qquad \sum_{i=1}^m p_i=1.

相同数值应合并其概率，不能把不同事件名称误认为不同的随机变量取值。

数学期望

定义

E(X)=\sum_{i=1}^m x_ip_i.

它是按发生概率加权的平均数，反映分布的平均位置；它未必是随机变量实际可能取到的值。例如公平骰子点数的期望为 $3.5$ 。

方差与标准差

记 $\mu=E(X)$ 。定义

D(X)=\sum_{i=1}^m(x_i-\mu)^2p_i, \qquad \sigma_X=\sqrt{D(X)}.

方差是偏离期望的平方的平均值，标准差与 $X$ 具有相同量纲。展开平方，利用 $\sum p_i=1$ 和 $\sum x_ip_i=\mu$ ，得到

\begin{aligned} D(X)&=\sum x_i^2p_i-2\mu\sum x_ip_i+\mu^2\sum p_i\\ &=E(X^2)-[E(X)]^2. \end{aligned}

方差非负，且为零当且仅当 $X$ 以概率 $1$ 等于同一个常数。

变换与相加

对实常数 $a,b$ ，有 $E(aX+b)=aE(X)+b$ 、 $D(aX+b)=a^2D(X)$ 。平移只改变均值，缩放使偏差乘以 $a$ ，所以方差乘以 $a^2$ 。

对同一试验上的有限随机变量 $X,Y$ ，期望具有线性性：

E(aX+bY)=aE(X)+bE(Y).

它不要求独立，可对联合分布的每个样本结果展开求和验证。方差相加则有交叉项：

D(X+Y)=D(X)+D(Y)+2\bigl(E(XY)-E(X)E(Y)\bigr).

独立时 $E(XY)=E(X)E(Y)$ ，交叉项为零，方差才可直接相加。交叉项为零也可能发生在不独立的情形，见本页后续辨析。

随机变量的独立、协方差与变换公式

设有限随机变量 $X,Y$ 取值分别为 $x_i,y_j$ ，记联合概率 $p_{ij}=P(X=x_i,Y=y_j)$ 。称 $X,Y$ 独立，是指对所有 $i,j$ 都有

p_{ij}=P(X=x_i)P(Y=y_j).

因此独立时

E(XY)=\sum_{i,j}x_iy_jp_{ij} =\left(\sum_i x_iP(X=x_i)\right)\left(\sum_j y_jP(Y=y_j)\right)=E(X)E(Y).

无须独立，联合概率的边缘求和关系也给出期望线性性：

E(aX+bY)=\sum_{i,j}(ax_i+by_j)p_{ij}=aE(X)+bE(Y).

定义协方差

\operatorname{Cov}(X,Y)=E[(X-E(X))(Y-E(Y))]=E(XY)-E(X)E(Y).

第二个等式由展开乘积并用期望线性性得到。把中心化变量 $X-E(X),Y-E(Y)$ 的线性组合平方展开，得到完整公式

D(aX+bY)=a^2D(X)+b^2D(Y)+2ab\operatorname{Cov}(X,Y).

独立保证协方差为零，逆命题一般不成立，后面的例子给出反例。对于有限个变量，同样逐项展开得到

D\left(\sum_{i=1}^nX_i\right)=\sum_{i=1}^nD(X_i)+2\sum_{i<j}\operatorname{Cov}(X_i,X_j).

两两独立已经足以使这里的协方差全为零；期望相加则没有独立性要求。

若 $Y=aX+b$ ，其中 $a,b$ 为常数，则 $Y-E(Y)=a[X-E(X)]$ ，所以

D(Y)=a^2D(X),\qquad\sigma_Y=|a|\sigma_X.

标准差乘以 $|a|$ ，因为它不能为负；平移不改变方差或标准差。

方差可加不必独立

独立是方差可加的充分条件，不是必要条件。一般有限分布下展开平方得

D(X+Y)=D(X)+D(Y)+2\bigl(E(XY)-E(X)E(Y)\bigr).

因此方差可加恰要求括号内为零。

例如 $X$ 以相等概率取 $-1,0,1$ ，令 $Y=X^2$ 。有 $E(X)=E(XY)=0$ ，所以方差可加；具体为 $D(X)=2/3,D(Y)=2/9,D(X+Y)=8/9$ 。但 $X=0$ 时 $Y$ 必为零，而平时 $Y=0$ 的概率只有 $1/3$ ，所以二者不独立。不能把“独立时方差可加”倒推为“方差可加时独立”。

指示变量

事件 $A$ 的指示变量 $I_A$ 在发生时取 $1$ 、否则取 $0$ ，所以 $E(I_A)=P(A)$ 。把数量拆为指示变量之和，能绕开复杂的完整分布。例如随机排列 $n$ 个对象，各位置放对的概率为 $1/n$ ，放对位置的期望数量为 $n\cdot1/n=1$ 。

例：从抽球模型建立完整分布列

袋中 $3$ 红球、 $2$ 蓝球，不放回随机取 $2$ 球，令 $X$ 为红球数。先列出可能值 $0,1,2$ ，再计算：

$x$	$0$	$1$	$2$
$P(X=x)$	$1/10$	$6/10$	$3/10$

例如 $P(X=1)=\binom31\binom21/\binom52=6/10$ 。三项非负且和为 $1$ ，通过了分布列的基本检查。于是

E(X)=\frac65,\quad E(X^2)=\frac95,\quad \operatorname{Var}(X)=\frac95-\left(\frac65\right)^2=\frac9{25}.

期望 $6/5$ 不是一次实验可能出现的红球数，它描述重复实验中的平均水平。若得分 $Y=10X-3$ ，则 $E(Y)=9$ 、 $\operatorname{Var}(Y)=36$ ；减去固定成本不增加波动。

例：同均值不同波动

$X$ 以各 $1/2$ 概率取 $0,2$ ，则 $E(X)=1,D(X)=1$ 。常量 $Y=1$ 也有期望 $1$ ，但方差为零。因此只比较期望不能描述风险或波动。

边界

无限取值的随机变量需要另查期望、方差是否存在；本篇推导首先针对有限分布。期望不一定是可能取到的值。

关联阅读

进一步阅读：有限随机变量的概率不等式。

先修：样本空间、事件与概率模型 · 代数运算、恒等式与因式分解。

同主题：条件概率、独立与贝叶斯公式 · 两点、二项与超几何分布。