一AIC赤池信息量准则（Akaikeinformationcriterion，AIC）是评估统计模型的复杂度和衡量统计模型“拟合”资料之优良性(Goodnessoffit)的一种标准，是由日本统计学家赤池弘次创立和发展的。赤池信息量准则建立在信息熵的概念基础上。在一般的情况下，AIC可以表示为：AIC=2k−2ln(L)其中：k是参数的数量，L是似然函数。假设条件是模型的误差服从独立正态分布。设n为观察数，RSS为残差平方和，那么AIC变为：AIC=2k+nln(RSS/n)残差平方和（ResidualSumofSquares，即RSS），又称剩余平方和。统计学上，数据点与它在回归直线上相应位
一.前言2022年的第一篇博客，《机器学习》这个专栏去年由于自己的时间原因，更新的不勤，乘最近稍微有点时间准备开始陆陆续续更新，今天先来一道开胃菜：带拉普拉斯修正的朴素贝叶斯，话不多说请看下文。二.贝叶斯定理在正式介绍朴素贝叶斯算法之前先介绍下与其息息相关的贝叶斯定理（参考维基百科），其数学形式如下所示：P(A∣B)=P(A)P(B∣A)P(B)P(A|B)=\frac{P(A)P(B|A)}{P(B)}P(A∣B)=P(B)P(A)P(B∣A)在贝叶斯定理中:P(A∣B)P(A|B)P(A∣B)是已知BBB发生后，AAA的条件概率，也称为AAA的后验概率；P(A)P(A)P(A)是AAA的
1.全概率公式和逆概率公式1.1全概率公式A1、A2、⋯、AnA_1、A_2、\cdots、A_nA1、A2、⋯、An是样本空间Ω\OmegaΩ的一个完备事件组，且P(Ai)>0P(A_i)\gt0P(Ai)>0（i=1,2,⋯ ,ni=1,2,\cdots,ni=1,2,⋯,n）有一个事件B总与A1、A2、⋯、AnA_1、A_2、\cdots、A_nA1、A2、⋯、An之一同时发生全概率公式（看作由原因AiA_iAi推结果BBB）P(B)=∑i=1nP(AiB)=∑i=1nP(Ai)P(B∣Ai)P(B)=\sum_{i=1}^nP(A_iB)=\sum_{i=1}^nP(A
机器学习的经典算法：朴素贝叶斯（naivebyes）分类贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。一：贝叶斯原理朴素贝叶斯分类算法是一个典型的统计学习方法，主要的理论基础就是贝叶斯公式。贝叶斯公式定义如下所示：先验概率：通过经验来判断事情发生的概率。后验概率：后验概率就是发生结果之后，推测原因的概率。条件概率：事件A在另外一个事件B已经发生条件下的发生概率，表示为P(A|B)，读作“在B发生的条件下A发生的概率”。P（A|B）表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A
1.基础知识条件概率公式：对于任意两个事件A和B，且P(A)>0,定义在A发生的条件下，B发生的条件概率为从而,这就是乘法公式推而广之，设是任意n个随机事件，则有更一般的乘法公式全概率公式：设是样本空间中的一个完备事件群（又称为的一个划分）。换言之，它们满足下列条件：(a)两两不相交，即(b)它们的并（和）恰好是样本空间，即设A为中的一个事件，则全概率公式为这个公式将事件A分解成一些两两不相交的事件之并。直接计算P(A)不容易，但分解后的那些事件的概率容易计算，从而使P(A)的计算变得容易了。2.贝叶斯公式在全概率公式的条件下，即存在样本空间的一个完备事件群,设A为中的一个事件，且,,则按照条
1-条件概率，联合概率，边缘概率三者关系以及贝叶斯公式前言一、联合概率二、条件概率三、边缘概率四、概率测度五、贝叶斯公式总结前言过去一直没有养成记笔记的习惯，今天开始对所学的知识进行一个记录，以便日后翻阅查看。若有不对之处，欢迎各位网友指出一、联合概率表示两个事件共同发生的概率。举例：A与B的联合概率表示为P(AB)或者P(A,B),或者P(A∩B)。二、条件概率条件概率是指事件A在事件B发生的条件下发生的概率。条件概率表示为：P(A|B)，读作“A在B发生的条件下发生的概率”。若只有两个事件A，B，那么P(A|B)=P(AB)/P(B)。三、边缘概率边缘概率是某个事件发生的概率，而与其它事件
一、贝叶斯决策论贝叶斯决策论是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。 贝叶斯公式： 其中，P(c)是类"先验"概率；P(x|c)是样本x相对于类标记c的类条件概率，或称为"似然"(likelihood)；P(x)是用于归一化的“证据”因子。对给定样本x，证据因子P(x)与类标记无关，因此估计P(c|x)的问题就转化为如何基于训练数据D来估计先验P(c)和似然P(x|c)。 类先验概率P(c)表达了样本空间种各类样本所占的比例，根据大数定律，当训练集包含充足的独立同分布样本时，P(c)可
一.基于贝叶斯决策理论的分类方法 朴素贝叶斯是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。对于大多数的分类算法，在所有的机器学习分类算法中，朴素贝叶斯和其他绝大多数的分类算法都不同。比如决策树，KNN，逻辑回归，支持向量机等，他们都是判别方法，也就是直接学习出特征输出Y和特征X之间的关系，要么是决策函数，要么是条件分布。但是朴素贝叶斯却是生成方法，该算法原理简单，也易于实现。优点：在数据较少的情况下仍然有效，可以处理多类别问题。缺点：对于输入数据的准备方式较为敏感。适用数据类型：标称型数据 朴素贝叶斯是贝叶斯决策理论的一部分，所以讲述朴素贝叶斯之前有必要快速了解一下贝叶斯决策
文章目录1.贝叶斯估计的思想2.正态总体参数贝叶斯估计的推导3.代码实现3.1.抽取样本3.2.估计参数4.总结参考文献1.贝叶斯估计的思想 在统计学中有两大学派：频率学派和贝叶斯学派。针对参数估计的方法也分成两派。其中以极大似然估计为代表的频率学派和以贝叶斯估计为代表的贝叶斯学派。 本文将详细介绍贝叶斯估计的细节。贝叶斯用概率反映知识状态的确定性程度。其基本观点是：对于任意未知量θ\thetaθ，由于真实参数θ\thetaθ是未知或不确定的，因此可以表示成随机变量，可以用一个概率分布去描述，这个分布称为先验分布。在获得样本后，总体分布、样本与先验分布通过贝叶斯公式结合得到了一个关
一、贝叶斯概念贝叶斯方法是以贝叶斯原理为基础，使用概率统计的知识对样本数据集进行分类。由于其有着坚实的数学基础，贝叶斯分类算法的误判率是很低的。贝叶斯方法的特点是结合先验概率和后验概率，即避免了只使用先验概率的主观偏见，也避免了单独使用样本信息的过拟合现象。贝叶斯分类算法在数据集较大的情况下表现出较高的准确率，同时算法本身也比较简单。（[1]朱军,胡文波.贝叶斯机器学习前沿进展综述[J].计算机研究与发展,2015,52(01):16-26.）二、朴素贝叶斯朴素贝叶斯方法是在贝叶斯算法的基础上进行了相应的简化，即假定给定目标值时属性之间相互条件独立。也就是说没有哪个属性变量对于决策结果来说占有
