统计系列（二）常见的概率分布

离散概率分布

伯努利分布

1. 背景：抛一次硬币，正面朝上的概率
2. 定义：一次试验中，只有两种结果，成功（X=1）概率为p，失败（X=0）概率为1-p。定义为伯努利试验。
3. 数学描述
   • P ( X = x ) = p x ( 1 − p ) 1 − x , x ∈ { 0 , 1 } P(X=x)=p^{x}(1-p)^{1-x}, x \in\{0,1\} P(X=x)=px(1−p)1−x,x∈{0,1}
   • $E(X)=p$;$D(X)=p(1-p)$

二项分布

1. 背景
   • 扔10次硬币，有3次正面朝上的概率
   • 上了一学期的课，有10次迟到的概率
2. 定义：n次伯努利试验中，成功k次的概率
3. 数学描述
   • $X\sim B(n,p)$
   • $P(X=k)=C_n^k{p}^k(1-p{)}^{n-k}$
   • $E(X)=np$;$D(X)=np(1-p)$

多项分布

1. 背景
   • 掷10次骰子，有3次6的概率
   • 踢10场足球，A球队赢7负1平2的概率
2. 定义：假设每次试验的结果有k种，且每种结果的概率为p1,p2,…pk。且k种结果的概率之和为1。重复n次试验，每种结果出现次数集合的概率（例如每种结果的次数分别为x1,x2…xk次）
3. 数学描述
   • $X\sim PN(N：p1．p2，\dots ，pn)$
   • $P(X_1=x_1,X_2=x_2,...,X_k=x_k)=\frac{n!}{x_1!x_2!...x_k!}{p}_1^{x_1}{p}_2^{x_2}...p_k^{x_k}$
   • 多项分布对每种结果都有均值和方差：$E(X_i)=n{p}_i$;$D(X_i)=n{p}_i(1-p_i)$

几何分布

1. 背景：
   • 抛几次硬币能出现正面
   • 考几次六级能通过
2. 定义：几何分布由n次伯努利分布构成，随机变量X表示第一次成功所进行试验的次数。即前k-1次均失败，第k次成功。
3. 数学描述：
   • $X\sim GE(p)$
   • $P(X=k)=(1-p{)}^{k-1}p$
   • $E(X)=\frac{1}{p}$;$D(X)=\frac{1-p}{p^2}$

泊松分布

1. 背景：
   • 网站每分钟有100次访问的概率
   • 每天能卖多少个馒头
2. 定义：某一时间区间内发生随机事件次数的概率分布
3. 数学描述：
   • $X\sim P(\lambda )$
   • $P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda }$
   • $E(X)=\lambda$；$D(X)=\lambda$
4. 二项分布与泊松分布
   1. 假设老板一周的馒头销量分别为[3,7,4,6,5]，均值为5。每天需要准备多少个才能有95%的把握保证供应呢？
   2. 将每一天的营业时间切割成n等分，n越大越好。则每个区间$n_i$只可能出现卖出馒头和未卖出馒头。则一天卖出k个馒头的概率符合二项分布$B(n,p)$。即${\lim }_{n\to \infty }\left(\begin{array}{l}n\\ k\end{array}\right)p^k(1-p{)}^{n-k}$
   3. 因此该问题转化为了二项分布，二项分布的期望为$E(X)=np=\mu$；则$p=\frac{\mu }{n}$。带入上述极限公式则得到${\lim }_{n\to \infty }\left(\begin{array}{l}n\\ k\end{array}\right)(\frac{\mu }{k}{)}^k(1-(\frac{\mu }{k}){)}^{n-k}=\frac{{\mu }^k}{k!}{e}^{-\mu }$。所以一天内卖出k个馒头的概率为：$P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda }$（$\mu =\lambda$，均值的替换）。因此泊松分布可以理解为n较大，p较小的二项分布
   4. 已知$\bar{x}=5$,所以$\lambda =5$。带入概率密度函数有：$P(X=k)=\frac{5^k}{k!}{e}^{-5}$。根据python stats.poisson.cdf(k, 5) 计算得到：当k=9时，累计概率为0.968，因此每天需要至少准备9个馒头才能有95%的把握保证供应。

连续概率分布

均匀分布

1. 背景：
   • 掷一枚骰子，出现3的概率
   • 生成1-100之间的随机数
2. 定义：X在区间[a,b]上发生的概率均相等
3. 数学描述：
   • $X\sim U(a,b)$
   • $f(x)=\{\begin{array}{l}0,x<a\text{ 或 }x>b\\ \frac{1}{b-a},a\le x\le b\end{array}$
   • $E(X)=\frac{a+b}{2}$;$D(X)=\frac{(b-a{)}^2}{12}$

指数分布

1. 背景：
   • 婴儿出生的时间间隔
   • 网站访问的时间间隔
2. 定义：两次随机事件发生时间间隔的概率分布
3. 数学描述
   • $X\sim E(\lambda )$
   • $f(x)=\lambda e^{-\lambda x},x\ge 0$：$P(X\le x)=F(x)=1-e^{-\lambda x}$
   • $E(x)=\frac{1}{\lambda }$;$D(x)=\frac{1}{{\lambda }^2}$
4. 泊松分布与指数分布
   1. 馒头卖出之间的时间间隔
   2. 同样的将每天的营业时间切分为n等分，假设周三一天没有卖出馒头，则意味着周二最后一次卖出馒头和周四第一次卖出馒头之间间隔大于1天。某一天没有卖出馒头的概率根据泊松分布有$P(X=0)=\frac{{\lambda }^0}{0!}{e}^{-\lambda }=e^{-\lambda }$。则时间间隔大于1天的概率$P(Y>1)=P(X=0)=e^{-\lambda }$。扩展泊松函数得到新的函数$P(X=k,t)=\frac{(\lambda t{)}^k}{k!}{e}^{\lambda t}$（泊松过程），当t=1时就是泊松分布。因此有$P(Y>t)=P(X=0,t)=\frac{(\lambda t{)}^0}{0!}{e}^{-\lambda t}=e^{-\lambda t}$,从而得到累计分布函数$P(Y\le t)=1-P(Y>t)=1-e^{-\lambda t}=F(y)$。对$F(y)$求导得到概率密度函数$f(y)=\lambda e^{-\lambda y}$
   3. 泊松分布和指数分布的期望分别是：$\lambda ,\frac{1}{\lambda }$。所以两者是倒数关系，因为每日卖出的馒头数越多，则每日卖出馒头的时间间隔就越短。
   4. 已知每天卖出5个馒头，因此每日卖出馒头的时间间隔的期望是$1/5=0.2(天)$
   5. 每天卖出馒头间隔低于0.5天的概率$P(X\le 0.5)=1-e^{-5\ast 0.5}=0.918$

伽马分布

1. 背景：第3个婴儿出生的时间间隔
2. 定义：事件第 i 次发生和第 i+k 次发生的时间间隔
3. 数学描述：
   • $X\sim Ga(\alpha ,\lambda )$
   • $f(x)=\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{x}^{\alpha -1}{e}^{-\lambda x},x\ge 0$,其中$\alpha >0$为形状参数，$\lambda >0$为尺度参数
   • $E(X)=\frac{\alpha }{\lambda }$,$D(X)=\frac{\alpha }{{\lambda }^2}$
   • $\Gamma (1)=1,\Gamma (\frac{1}{2})=\sqrt{\pi }$
4. 两个特例
   • $\alpha =1,Ga(1,\lambda )=E(\lambda )$,即等于指数分布
   • $\alpha =\frac{n}{2},\lambda =\frac{1}{2},Ga(\frac{n}{2},\frac{1}{2})={\chi }^2(n)$,即等于卡方分布

贝塔分布

1. 背景：棒球运动员击球率的概率分布
2. 定义：定义(0,1)区间的连续概率分布，可以看做一个概率的概率分布。即当你不知道一个东西的具体概率时，它可以给出所有概率出现的可能性大小
3. 数学描述：
   • $X\sim Beta(\alpha ,\beta )$
   • $f(x)=\frac{1}{B(\alpha ,\beta )}{x}^{\alpha -1}(1-x{)}^{\beta -1}$
   • $E(X)=\frac{\alpha }{\alpha +\beta }$,$D(X)=\frac{\alpha \beta }{(\alpha +\beta {)}^2(\alpha +\beta +1)}$

高斯分布

1. 背景：某个学校学生身高的分布
2. 数学描述：
   • $X\sim N(\mu ,{\sigma }^2)$
   • $f(x)=\frac{1}{\sigma \sqrt{2\pi }}{\mathrm{e}}^{-(x-\mu {)}^2/2{\sigma }^2}$
   • $E(X)=\mu$;$D(X)={\sigma }^2$

总结

每个概率分布都有其适宜的应用场景，且相互之间都有一定的联系。所以了解各概率分布的应用场景和内在关联，有助于提高对概率分布的理解。

共勉～

参考

• 泊松分布的现实意义
• 指数分布公式的含义