草庐IT

《概率论与数理统计》学习笔记

AilyOo 2023-04-13 原文

重温《概率论与数理统计》进行查漏补缺,并对其中的概念公式等内容进行总结,以便日后回顾。

目录

第一章 概率论的基本概念

第二章 随机变量及其分布

第三章  多维随机变量及其分布

第四章  随机变量的数字特征

第五章  大数定律及中心极限定理

第六章  样本及抽样分布

第七章  参数估计

第八章  假设检验​​​​​​​


第一章 概率论的基本概念

1.随机试验

随机试验——具有下述三个特点的试验:(1)可以在相同的条件下重复地进行;(2)每次试验的可能结果不止一个,并且能事先明确试验的所有可能结果;(3)进行一次试验之前不能确定哪一个结果会出现。

2.样本空间、随机事件

样本空间——随机试验的所有可能结果组成的集合。

样本点——样本空间的元素。

随机事件——随机试验的样本空间的子集。

事件间的关系:

事件B包含事件A:事件A发生必导致事件发生时。若,则称事件A与事件相等。

事件A与事件B的和事件:当且仅 当A,B中至少有一个发生时。

事件A与事件B的积事件:当且仅当A,B同时发生时。

事件且称为事件A与事件B的差事件:当且仅当A发生、B不发生时。

事件A与B是互不相容的或互斥的:事件 A与事件B不能同时发生。

事件A与事件B互为逆事件.又称对立事件,事件A、B中必有一个发生,且仅有一个发生。

3.频率与概率

在相同的条件下,进行了n次试验,在这n次试验中,事件A发生的次数nA称为事件A发生的频数。比值n/nA称为事件A发生的频率

设E是随机试验,S是它的样本空间。对于E的每一事件人赋予一 个实数,记为P(A),称为事件A的概率。如果集合函数P(・)满足下列条件:非负性,规范性,可列可加性。

4.等可能概型

    特点:

  1. 试验的样本空间只包含有限个元素;
  2. 试验中每个基本事件发生的可能性相冋。

5.条件概率

设A,B是两个事件,且P(A)>0,称

为在事件A发生的条件下事件B发生的条件概率

全概率公式:

设试验E的样本空间为S,A为E的事件,B1,B2,…Bn为S的一个划分,且P(Bi)>0(i=1,2,…n),则

             贝叶斯公式:

设试验E的样本空间为S,A为E的事件,B1,B2,…Bn为S的一个划分,且P(A)>0(i=1,2,…n),P(Bi)>0(i=1,2,…n),则

6.独立性

设A,B是两个事件,如果满足等式

则称事件A,B相互独立。

第二章 随机变量及其分布

1.随机变量

2.离散型随机变量及其分布

三种重要离散型随机变量

            (0-1)分布

设随机变量X只可能取0与1两个值,它的分布律是

            则称X服从以为参数的(0 — 1)分布或两点分布.

(0-1)分布的分布律也可写成

伯努利试验、二项分布

设试验E只有两个可能结果:A及,则称E为伯努利试验. 设P(A)=p(0<p<1),此时P()=1-p.将E独立重复地进行n次,则称这 一串重复的独立试验为n重伯努利试验。

            泊松分布

设随机变量X所有可能取的值为0,1,2,…,而取各个值的概率为

其中是常数,则称X服从参数为人的泊松分布,记为

泊松定理:

是一个常数,n是任意正整数,设则对于任一固 定的非负整数k

以n,p为参数的二项分布的概率值可以由参数为的泊松分布的概率值近似。

3.随机变量的分布函数

设X是一个随机变量,x是任意实数,函数

 称为X的分布函数。

4.连续型随机变量及其概率密度

三种重要连续型随机变量

             均匀分布

若连续型随机变量X具有概率密度

            则称X在区间上服从均匀分布,记为

X的分布函数为

             指数分布

若连续型随机变量X具有概率密度

             其中为常数,则称X服从指数分布。

X的分布函数为

             正态分布

            若连续型随机变量X具有概率密度

其中为常数,则称X服从参数为的正态分布。

第三章  多维随机变量及其分布

1.  二维随机变量及分布

             是二维随机变量,对于任意实数,二元函数:

             称为二维随机变量的分布函数

             如果二维随机变量全部可能取到的值是有限对或可列无限多对,则称是离散型的随机变量

             设二维离散型随机变量所有可能取的值为,记

             称为二维离散型随机变量的概率分布

             称为二维离散型随机变量 关于X和关于Y的边缘分布

             对于给定的,如果,

             称为条件下随机变量X的条件分布律

             对于二维随机变量的分布函数,如果存在非负的函数,使对于任意有

             连续型的二维随机变量,函数称为二维随机变量的概率密度

             分别称为  关于X和关于Y的边缘概率密度

             设二维随机变量的概率密度为  关于Y的边缘概率密度为。若对于固定的y,,则称为在Y=y的条件下X的条件概率密度,记为

2.  相互独立的随机变量

             分别是二维随机变量的分布函数及边缘分布函数。若对于所有有

则称随机变量相互独立的.

第四章  随机变量的数字特征

1.  数学期望

             设离散型随机变量X的分布律为

             若级数

             绝对收敛,则称级数的和为随机变量X的数学期望,记为,即

             设连续型随机变量的概率密度为,若积分绝对收敛,则称的值为随机变量X的数学期望,记为,即

2.  方差 

             方差

             标准差:

             对于离散型随机变量:

             对于连续型随机变量:

             设随机变量具有数学期望,方差,则对于任意正数,不等式

             成立。这一不等式称为切比雪夫不等式

             切比雪夫不等式给出了在随机变量的分布未知,而知道均值、方差的情况下估计概率的界限。

             至少有75%的数据在平均数个标准差的范围之内;

             至少有89%的数据在平均数3个标准差的范围之内;

             ​​​​​​​至少有94%的数据在平均数4个标准差的范围之内。

3. 协方差及相关系数

             协方差:

             相关系数:

4.  矩、协方差矩阵

             k阶原点矩(k阶矩)

             k阶中心矩

             k+l阶混合矩

             k+l阶混合中心矩

             维随机变量的二阶混合中心矩

             都存在,称

             ​​​​​​​维随机变量 的协方差矩阵​​​​​​​

第五章  大数定律及中心极限定理

             1.大数定律:叙述随机变量序列的前一些项的算术平均值在某种条件下收敛到这些项的算术平均值

             弱大数定理(辛钦大数定理) 设是相互独立,服从同一分布的随机变量序列,且具有数学期望。作前n个变量的算术平均则对于任意,有

             弱大数定理(辛钦大数定理) 设随机变量相互独立,服从同一分布且具有数学期望,则序列依概率收敛于,即

伯努利大数定理 设是n次独立重复试验中事件A发生的次数,是事件A在每次试验中发生的概率,则对于任意正数>0,有

 2. 中心极限定理:是确定在什么条件下,大量随机变量之和的分布逼近于正态分布

             设随机变量相互独立,服从同一分布,且具有数学期望和方差,则随机变量之和的标准化变量

             的分布函数对于任意x满足

              (设从均值为,方差为(有限)的任意一个总体中抽取样本量为n的样本,当n充分大的时,样本均值的抽样分布近似服从均值为,方差为的正态分布) 

第六章  样本及抽样分布

1.  随机样本

             设X是具有分布函数F的随机变量,若是具有同一分布函数F的、相互独立的随机变量,则称为从分布函数F(或总体F、或总体X)得到的容量为n的简单随机样本。

2.  抽样分布

             样本均值:

             样本方差:

            样本标准差:

            样本k阶(原点)矩:

            样本k阶中心矩:

 3.  常用统计量分布

             (1)分布

             是来自总体的样本,则称统计量

            服从自由度为n分布,记为

            (2)分布

            设,且XY相互独立,则称随机变量

             服从自由度为nt分布,记为

            (3)分布

            设,且U,V相互独立,则称随机变量

            服从自由度为F分布,记为

第七章  参数估计

1.  点估计

             ​​​​​​​点估计是适当地选择一个统计量作为未知参数的估计(称为估计量),若已取得一样本,将样本值代入估计量,得到估计量的值,以估计量的值作为未知参数的近似值(称为估计值)。

两种求点估计的方法:矩估计法和最大似然估计法。

             矩估计法的做法是,以样本矩作为总体矩的估计量,而以样本矩的连续函数作为相应的 总体矩的连续函数的估计最,从而得到总体未知参数的估计。

             最大似然估计法的基本想法是,若已观察到样本 的样本值,而取到这一样本值的概率为p(在离散型的情况),或落在这一样本值的邻域内的概率为p(在连续型的情况),而P与未知参数有关,就取的估计值使概率取到最大。

2.  估计量的评选标准

             无偏性、有效性、相合性

3.  区间估计

             点估计不能反映估计的精度,引入了区间估计。置信区间是一个随机区间,它覆盖未知参数具有预先给定的高概率(置信水平),即对于任意,有

第八章  假设检验

1.  假设检验

             实际推断原理

             小概率事件在一次试验中实际上是不会发生的,实际推断原理又称小概率原理。

             假设检验

             (1)假设是指关于总体的论断或命题,常用字母“H”表示,假设分为基本假设(又称原假设,零假设)和备选假设(又称备择假设,对立假设)。还可将假设分为参数假设和非参数假设,参数假设是指已知总体分布函数形式,对其中未知参数的假设,其他的假设就是非参数假设,也可将假设分为简单假设和复合假设。完全决定总体分布的假设为简单假设,否则为复合假设。

             (2)假设检验:根据样本,按照一定规则判断所做假设的真伪,并作出接受还是拒绝接受的决定。  

             两类错误

             拒绝实际真的假设(弃真)称为第一类错误。 

             接受实际不真的假设(纳伪)称为第二类错误。            

             显著性检验

             (1)显著性水平:在假设检验中允许犯第一类错误的概率,记为α(0<α<1),则α称为显著水平,它表现了对弃真的控制程度,一般α取0.1,0.05,0.01,0.001等值。 

             (2)显著性检验:只控制第一类错误概率α的统计检验,称为显著性检验.

             (3)显著性检验的一般步骤

             1)根据问题要求提出原假设及备择假设; 

             2)给出显著性水平α(0<α<1)以及样本容量n;

             3)确定检验统计量及拒绝域形式;

             4)按犯第一类错误的概率等于α求出拒绝域W;

             5) 根据样本值计算检验统计量T的观测值t,当tW时,拒绝原假设;否则,接受原假设

             正态总体参数的假设检验

2.  p值检验法

             假设检验问题的p值是由检验统计量的样本观察值得出的原假设可被拒绝的最小显著性水平。

             利用p值来确定检验拒绝域的方法,称为P值检验法

  1. 若p值<=α,则在显著性水平α下拒绝
  2. 若p值>α,则在显著性水平α下接受

有关《概率论与数理统计》学习笔记的更多相关文章

  1. LC滤波器设计学习笔记(一)滤波电路入门 - 2

    目录前言滤波电路科普主要分类实际情况单位的概念常用评价参数函数型滤波器简单分析滤波电路构成低通滤波器RC低通滤波器RL低通滤波器高通滤波器RC高通滤波器RL高通滤波器部分摘自《LC滤波器设计与制作》,侵权删。前言最近需要学习放大电路和滤波电路,但是由于只在之前做音乐频谱分析仪的时候简单了解过一点点运放,所以也是相当从零开始学习了。滤波电路科普主要分类滤波器:主要是从不同频率的成分中提取出特定频率的信号。有源滤波器:由RC元件与运算放大器组成的滤波器。可滤除某一次或多次谐波,最普通易于采用的无源滤波器结构是将电感与电容串联,可对主要次谐波(3、5、7)构成低阻抗旁路。无源滤波器:无源滤波器,又称

  2. CAN协议的学习与理解 - 2

    最近在学习CAN,记录一下,也供大家参考交流。推荐几个我觉得很好的CAN学习,本文也是在看了他们的好文之后做的笔记首先是瑞萨的CAN入门,真的通透;秀!靠这篇我竟然2天理解了CAN协议!实战STM32F4CAN!原文链接:https://blog.csdn.net/XiaoXiaoPengBo/article/details/116206252CAN详解(小白教程)原文链接:https://blog.csdn.net/xwwwj/article/details/105372234一篇易懂的CAN通讯协议指南1一篇易懂的CAN通讯协议指南1-知乎(zhihu.com)视频推荐CAN总线个人知识总

  3. 深度学习部署:Windows安装pycocotools报错解决方法 - 2

    深度学习部署:Windows安装pycocotools报错解决方法1.pycocotools库的简介2.pycocotools安装的坑3.解决办法更多Ai资讯:公主号AiCharm本系列是作者在跑一些深度学习实例时,遇到的各种各样的问题及解决办法,希望能够帮助到大家。ERROR:Commanderroredoutwithexitstatus1:'D:\Anaconda3\python.exe'-u-c'importsys,setuptools,tokenize;sys.argv[0]='"'"'C:\\Users\\46653\\AppData\\Local\\Temp\\pip-instal

  4. ruby - 我正在学习编程并选择了 Ruby。我应该升级到 Ruby 1.9 吗? - 2

    我完全不是程序员,正在学习使用Ruby和Rails框架进行编程。我目前正在使用Ruby1.8.7和Rails3.0.3,但我想知道我是否应该升级到Ruby1.9,因为我真的没有任何升级的“遗留”成本。缺点是什么?我是否会遇到与普通gem的兼容性问题,或者甚至其他我不太了解甚至无法预料的问题? 最佳答案 你应该升级。不要坚持从1.8.7开始。如果您发现不支持1.9.2的gem,请避免使用它们(因为它们很可能不被维护)。如果您对gem是否兼容1.9.2有任何疑问,您可以在以下位置查看:http://www.railsplugins.or

  5. ruby - 我如何学习 ruby​​ 的正则表达式? - 2

    如何学习ruby​​的正则表达式?(对于假人) 最佳答案 http://www.rubular.com/在Ruby中使用正则表达式时是一个很棒的工具,因为它可以立即将结果可视化。 关于ruby-我如何学习ruby​​的正则表达式?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/1881231/

  6. 深度学习12. CNN经典网络 VGG16 - 2

    深度学习12.CNN经典网络VGG16一、简介1.VGG来源2.VGG分类3.不同模型的参数数量4.3x3卷积核的好处5.关于学习率调度6.批归一化二、VGG16层分析1.层划分2.参数展开过程图解3.参数传递示例4.VGG16各层参数数量三、代码分析1.VGG16模型定义2.训练3.测试一、简介1.VGG来源VGG(VisualGeometryGroup)是一个视觉几何组在2014年提出的深度卷积神经网络架构。VGG在2014年ImageNet图像分类竞赛亚军,定位竞赛冠军;VGG网络采用连续的小卷积核(3x3)和池化层构建深度神经网络,网络深度可以达到16层或19层,其中VGG16和VGG

  7. 机器学习——时间序列ARIMA模型(四):自相关函数ACF和偏自相关函数PACF用于判断ARIMA模型中p、q参数取值 - 2

    文章目录1、自相关函数ACF2、偏自相关函数PACF3、ARIMA(p,d,q)的阶数判断4、代码实现1、引入所需依赖2、数据读取与处理3、一阶差分与绘图4、ACF5、PACF1、自相关函数ACF自相关函数反映了同一序列在不同时序的取值之间的相关性。公式:ACF(k)=ρk=Cov(yt,yt−k)Var(yt)ACF(k)=\rho_{k}=\frac{Cov(y_{t},y_{t-k})}{Var(y_{t})}ACF(k)=ρk​=Var(yt​)Cov(yt​,yt−k​)​其中分子用于求协方差矩阵,分母用于计算样本方差。求出的ACF值为[-1,1]。但对于一个平稳的AR模型,求出其滞

  8. Unity Shader 学习笔记(5)Shader变体、Shader属性定义技巧、自定义材质面板 - 2

    写在之前Shader变体、Shader属性定义技巧、自定义材质面板,这三个知识点任何一个单拿出来都是一套知识体系,不能一概而论,本文章目的在于将学习和实际工作中遇见的问题进行总结,类似于网络笔记之用,方便后续回顾查看,如有以偏概全、不祥不尽之处,还望海涵。1、Shader变体先看一段代码......Properties{ [KeywordEnum(on,off)]USL_USE_COL("IsUseColorMixTex?",int)=0 [Toggle(IS_RED_ON)]_IsRed("IsRed?",int)=0}......//中间省略,后续会有完整代码 #pragmamulti_c

  9. Tcl脚本入门笔记详解(一) - 2

    TCL脚本语言简介•TCL(ToolCommandLanguage)是一种解释执行的脚本语言(ScriptingLanguage),它提供了通用的编程能力:支持变量、过程和控制结构;同时TCL还拥有一个功能强大的固有的核心命令集。TCL经常被用于快速原型开发,脚本编程,GUI和测试等方面。•实际上包含了两个部分:一个语言和一个库。首先,Tcl是一种简单的脚本语言,主要使用于发布命令给一些互交程序如文本编辑器、调试器和shell。由于TCL的解释器是用C\C++语言的过程库实现的,因此在某种意义上我们又可以把TCL看作C库,这个库中有丰富的用于扩展TCL命令的C\C++过程和函数,所以,Tcl是

  10. ruby-on-rails - 这个 C 和 PHP 程序员如何学习 Ruby 和 Rails? - 2

    按照目前的情况,这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visitthehelpcenter指导。关闭9年前。我来自C、php和bash背景,很容易学习,因为它们都有相同的C结构,我可以将其与我已经知道的联系起来。然后2年前我学了Python并且学得很好,Python对我来说比Ruby更容易学。然后从去年开始,我一直在尝试学习Ruby,然后是Rails,我承认,直到现在我还是学不会,讽刺的是那些打着简单易学的烙印,但是对于我这样一个老练的程序员来说,我只是无法将它

随机推荐