2.2 随机变量的数字特征

离散型随机变量的数学期望

设离散型随机变量\(X\)的可能值为\(x_i(i=1,2,\cdots)\)，其概率分布为

若\(\sum\limits_{i=1}^\infty x_ip_i\)绝对收敛，则记\(E(X)=\sum\limits_{i=1}^\infty x_ip_i\)为随机变量\(X\)的数学期望。

连续型随机变量的数学期望

推导过程

设\(X\)是连续型随机变量，密度函数为\(f(x)\).

根据密度函数的特点，有：

其中，\(\Delta x_i=x_{i+1}-x_i\)趋向于\(0\).

因而，概率分布为：

将其视为\(X\)的离散近似，而离散型随机变量的数学期望为：

当\(\Delta x_i \to0\)时，根据定积分的定义，上述和式以定积分：

为极限（如果积分存在），于是该定积分的值便是连续型随机变量\(X\)的数学期望。

定义

若\(X\)为连续型随机变量，\(f(x)\)为其密度函数，如果广义积分：

绝对收敛，则称\(E(X)=\int_{-\infty}^{+\infty}xf(x)dx\)为随机变量\(X\)的数学期望。

随机变量函数的数学期望

一元函数

设\(X\)为随机变量，\(Y=g(X)\)是随机变量函数.

为什么连续型随机变量函数的数学期望只将\(x\)改为\(g(x)\)，而\(f(x)\)不用改？

解析：数学期望可以简单概括为\((变量的值\times概率)\)的和式，根据上文中连续型随机变量的数学期望的推导过程，\(f(x)\)属于概率的部分，而随机变量函数其实只改变了变量的值这一部分，所以只将式子前面的\(x\)改为\(g(x)\).

二元函数

设\(X,Y\)为随机变量，\(Z=g(X,Y)\)是二元随机变量函数。

离散

举例：

设\(Z=X-Y\)，则：

连续

二元连续型随机变量函数的数学期望需要计算二重积分：

数学期望的性质

1. \(E(C)=C\)，其中\(C\)为常数.
2. \(E(kX+b)=k\cdot E(X)+b\).
3. \(E(X\pm Y)=E(X)\pm E(Y)\).
4. \(E(\sum\limits_i C_iX_i)=\sum\limits_i C_iE(X_i)\)
5. \(E(\frac{1}{n}\sum\limits_i X_i)=\frac{1}{n}\sum\limits_i E(X_i)\)
6. 若\(X,Y\)独立，有\(E(XY)=E(X)\cdot E(Y)\)

条件期望

定义

一个变量取了某值之后，另一变量的数学期望。

离散：

• \(E(X|Y=y_j)=\sum\limits_i x_iP(X=x_i|Y=y_j)\)
• \(E(Y|X=x_i)=\sum\limits_j y_jP(Y=y_j|X=x_i)\)

连续：

• \(E(X|Y=y)=\int_{-\infty}^{+\infty}xf(x|y)dx\)（计算结果带有\(y\)）
• \(E(Y|X=x)=\int_{-\infty}^{+\infty}yf(y|x)dy\)（计算结果带有\(x\)）

随机变量的方差

方差的定义

方差描述了一组数据的偏离程度，计算每个值与平均值的距离\(\frac{1}{n}\sum|x_i-\overline{x}|\)，使用绝对值是为了描述偏离的距离(非负值)，但是绝对值的计算是复杂的，使用平方会更简便：\(\frac{1}{n}\sum(x_i-\overline{x})^2\).

随机变量的方差

• 离差：\(X-EX\)

• 方差：\(D(X)=E(X-EX)^2\)

• 标准差：\(\sqrt{DX}\)

\(X\)是随机变量，离差\(X-EX\)也是一个随机变量，为了消除正负符号影响并且考虑计算方便，使用\((X-EX)^2\)来衡量\(X\)对\(EX\)的偏离，从而方差\(D(X)=E(X-EX)^2\)即为\(X\)对\(EX\)的平均偏离。

计算

离散型：

连续型：

常用计算公式：

证明：

步骤\((*)\)使用了数学期望的性质，这里将\(X\)视为变量，将\(EX\)视为常数，直接提出。

性质

• \(D(a)=0\)

• \(D(X+a)=DX\)

• \(D(aX)=a^2DX\)

• \(D(kX+b)=k^2DX\)

结合上面两个性质即可证明.

• 若\(X,Y\)独立，有\(D(X\pm Y)=DX+DY\)

这个性质有两点要注意：

1. 在数学期望的性质中有类似的性质：\(E(X\pm Y)=EX\pm EY\)是在任何时候都成立，而方差的性质需要前提条件：\(X,Y\)独立
2. 数学期望的性质的数学符号是\(\pm\)拆开来也是\(\pm\)，但是方差的性质的符号，内部是\(\pm\)，分开后的符号都是\(+\).

证明：

这一步主要在于将\(E(X\pm Y)\)拆分，注意符号变化\(\pm\to\mp\).

这一步的关键在于将上一步中的\(\pm Y\mp EY\)合并成\(\pm(Y-EY)\)，这里虽然有两个正负号，但是并不是有4种情况（\(++,+-,-+,--\)）。

事实上，从源头\(D(X\pm Y)\)看来，只有两种情况，再沿着计算步骤算下来，也只有两种情况：

• \(+Y-EY\)
• \(-Y+EY\)

所以可以合并为\(\pm(Y-EY)\).

这一步就是简单的二项式展开。

利用数学期望的性质展开。

显然，接下来只需要证明\(E[(X-EX)(Y-EY)]=0\)。

此时，因为前提条件为\(X,Y\)独立，根据数学期望的性质有：\(E(XY)=EX\cdot EY\)

综上，当\(X,Y\)独立时，有\(D(X\pm Y)=DX+DY\).

• \(DX=0\Leftrightarrow P\{X=EX\}=1\)

标准化随机变量

定义

标准化随机变量(standardized random variable)是指经过处理，从而具有一些较好性质的随机变量。设\(X\)为随机变量，称\(X^*=\frac{X-EX}{\sqrt{DX}}\)为标准化随机变量。

性质

• 数学期望为0.

• 方差为1.

\(EX,DX\)视为常数.

随机变量的矩

原点矩

定义

\(X\)为随机变量，\(k\)为正整数，如果\(EX^k\)存在（即绝对收敛），则称\(EX^k\)为\(X\)的\(k\)阶原点矩，称\(E|X|^k\)为\(X\)的\(k\)阶绝对矩。

• 标准化后的三阶矩：\(S=E(\frac{X-EX}{\sqrt{DX}})^3\)称为\(X\)的分布的偏度（skewness），用来比较不同分布的非对称程度。
• 标准化后的四阶矩：\(K=E(\frac{X-EX}{\sqrt{DX}})^4\)称为\(X\)的分布的峰度(kurtosis)，用来比较分布的扁平程度。

计算

• 离散：\(\sum x_i^kp_i\)
• 连续：\(\int_{-\infty}^{+\infty}x^kf(x)dx\)

定理

若随机变量\(X\)的 \(t\) 阶矩存在，则其 \(s\) 阶矩也存在。( \(s<t\) 为正整数 )

推论

设\(k\)为正整数，\(C\)为常数，如果\(EX^k\)存在，则\(E(X+C)^k\)存在，\(E(X-EX)^k\)存在.

中心矩

定义

\(X\)为随机变量，\(k\)为正整数，如果\(EX^k\)存在，则称\(E(X-EX)^k\)为\(X\)的\(k\)阶中心距，称\(E|X-EX|^k\)为\(X\)的\(k\)阶绝对中心距。

• 数学期望是\(X\)的一阶原点矩。
• 方差是\(X\)的二阶中心矩。

如果\(EX^2<\infty\)，则\(X\)的数学期望和方差都存在。

计算

• 离散：\(\sum(x_i-EX)^kp_i\)
• 连续：\(\int_{-\infty}^{+\infty}(x-EX)^kf(x)dx\)

与矩相关的不等式

定理

设\(h(x)\)是\(x\)的一个非负函数，\(X\)是一个随机变量，且\(Eh(X)\)存在，则对任意\(\varepsilon>0\)，有

推论

推论1（马尔可夫不等式）设\(X\)的\(k\)阶矩存在（\(k\)为正整数），即\(E|X|^k<\infty\)，则对任意\(\varepsilon>0\)有

推论2（切比雪夫不等式）设\(X\)的方差存在，则对任意\(\varepsilon>0\)有

推论3 随机变量\(X\)的方差为0当且仅当存在一个常数\(a\)，使得\(P\{X=a\}=1\)，且该常数\(a=EX\).

使用教材：
《概率论与数理统计》第四版 中国人民大学 龙永红 主编 高等教育出版社