【朴素贝叶斯】深入浅出讲解朴素贝叶斯算法（公式、原理）

程序遇上智能星空 2023-04-14 原文

本文收录于《深入浅出讲解自然语言处理》专栏，此专栏聚焦于自然语言处理领域的各大经典算法，将持续更新，欢迎大家订阅！
个人主页：有梦想的程序星空
个人介绍：小编是人工智能领域硕士，全栈工程师，深耕Flask后端开发、数据挖掘、NLP、Android开发、自动化等领域，有较丰富的软件系统、人工智能算法服务的研究和开发经验。
如果文章对你有帮助，欢迎关注、点赞、收藏、订阅。

朴素贝叶斯（Naive Bayes）是一种简单经典的分类算法，它的经典应用案例为人所熟知：文本分类（如垃圾邮件过滤）。

1、贝叶斯定理

先验概率：即基于统计的概率，是基于以往历史经验和分析得到的结果，不需要依赖当前发生的条件。

后验概率：则是从条件概率而来，由因推果，是基于当下发生了事件之后计算的概率，依赖于当前发生的条件。

条件概率：记事件A发生的概率为P(A)，事件B发生的概率为P(B)，则在B事件发生的前提下，A事件发生的概率即为条件概率，记为P(A|B)。

$P(A|B) = \frac{{P(AB)}}{{P(B)}}$

贝叶斯公式：贝叶斯公式便是基于条件概率，通过P(B|A)来求P(A|B)，如下：

$P(A|B) = \frac{{P(B|A) \times P(A)}}{{P(B)}}$

将A看成“规律”，B看成“现象”，那么贝叶斯公式看成：

全概率公式：表示若事件 ${A_1},{A_2}, \cdots ,{A_n}$ 构成一个完备事件组且都有正概率，则对任意一个事件B都有公式成立：

$P(B) = \sum\limits_{i = 1}^n {P(B|{A_i}) \times P({A_i})}$

将全概率公式带入贝叶斯公式中，得到：

$P(A|B) = \frac{{P(B|A) \times P(A)}}{{\sum\limits_{i = 1}^n {P(B|{A_i}) \times P({A_i})} }}$

2、朴素贝叶斯算法的原理

特征条件假设：假设每个特征之间没有联系，给定训练数据集，其中每个样本 $x$ 都包括 $n$ 维特征，即 $x = ({x_1},{x_2}, \cdots ,{x_n})$ ，类标记集合含有 $k$ 种类别，即 $y = ({y_1},{y_2}, \cdots ,{y_k})$ 。

对于给定的新样本 $x$ ，判断其属于哪个标记的类别，根据贝叶斯定理，可以得到 $x$ 属于 ${y_k}$ 类别的概率 $P({y_k}|x)$ ：

$P({y_k}|x) = \frac{{P(x|{y_k}) \times P({y_k})}}{{\sum\limits_k {P(x|{y_k}) \times P({y_k})} }}$

后验概率最大的类别记为预测类别，即： $\mathop {\arg \max }\limits_{{y_k}} P({y_k}|x)$ 。

朴素贝叶斯算法对条件概率分布作出了独立性的假设，通俗地讲就是说假设各个维度的特征 ${x_1},{x_2}, \cdots ,{x_n}$ 互相独立，在这个假设的前提上，条件概率可以转化为：

$P(x|{y_k}) = P({x_1},{x_2}, \cdots ,{x_n}|{y_k}) = \prod\limits_{i = 1}^n {P({x_i}|{y_k})}$

代入上面贝叶斯公式中，得到：

$P({y_k}|x) = \frac{{P({y_k}) \times \prod\limits_{i = 1}^n {P({x_i}|{y_k})} }}{{\sum\limits_k {P({y_k}) \times \prod\limits_{i = 1}^n {P({x_i}|{y_k})} } }}$

于是，朴素贝叶斯分类器可表示为：

$f(x) = \mathop {\arg \max }\limits_{{y_k}} P({y_k}|x) = \mathop {\arg \max }\limits_{{y_k}} \frac{{P({y_k}) \times \prod\limits_{i = 1}^n {P({x_i}|{y_k})} }}{{\sum\limits_k {P({y_k}) \times \prod\limits_{i = 1}^n {P({x_i}|{y_k})} } }}$

因为对所有的 $y_k$ ，上式中的分母的值都是一样的，所以可以忽略分母部分，朴素贝叶斯分类器最终表示为：

$f(x) = \mathop {\arg \max }\limits_{{y_k}} P({y_k}) \times \prod\limits_{i = 1}^n {P({x_i}|{y_k})}$

适用范围：

朴素贝叶斯只适用于特征之间是条件独立的情况下，否则分类效果不好，这里的朴素指的就是条件独立。
朴素贝叶斯主要被广泛地使用在文档分类中。

朴素贝叶斯常用的三个模型有：

高斯模型：处理特征是连续型变量的情况。
多项式模型：最常见，要求特征是离散数据。
伯努利模型：要求特征是离散的，且为布尔类型，即true和false，或者1和0。

4、拉普拉斯平滑

为了解决零概率的问题，法国数学家拉普拉斯最早提出用加1的方法估计没有出现过的现象的概率，所以加法平滑也叫做拉普拉斯平滑。假定训练样本很大时，每个分量 $x$ 的计数加1造成的估计概率变化可以忽略不计，但可以方便有效的避免零概率问题。

$P({y_k}) \times \prod\limits_{i = 1}^n {P({x_i}|{y_k})}$ 是一个多项乘法公式，其中有一项数值为0，则整个公式就为0显然不合理，避免每一项为零的做法就是在分子、分母上各加一个数值。

$P(y) = \frac{{|{D_y}| + 1}}{{|D| + N}}$

$|{D_y}|$ 表示分类 $y$ 的样本数， $|{D}|$ 为样本总数， $N$ 是分类总数。

$P({x_i}|{D_y}) = \frac{{|{D_{y,{x_i}}}| + 1}}{{|{D_y}| + {N_i}}}$

$|{D_{y,{x_i}}}|$ 表示分类 $y$ 属性 $i$ 的样本数， $|{D_y}|$ 表示分类 $y$ 的样本数， $N_i$ 表示 $i$ 属性的可能的取值数。

在实际的使用中也经常使用加 $\lambda (0 \le \lambda \le 1)$ 来代替简单加1。如果对 $N$ 个计数都加上 $\lambda$ ，这时分母也要记得加上 $N \times \lambda$ 。

4、朴素贝叶斯算法的优缺点

优点：

1、朴素贝叶斯模型有稳定的分类效率。
2、对小规模的数据表现很好，能处理多分类任务，适合增量式训练，尤其是数据量超出内存时，可以一批批的去增量训练。
3、对缺失数据不太敏感，算法也比较简单，常用于文本分类。

缺点：

1、需要知道先验概率，且先验概率很多时候取决于假设，假设的模型可以有很多种，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。
2、对输入数据的表达形式很敏感（离散、连续，值极大极小之类的）。

5、python代码实现

库方法：sklearn.naive_bayes.MultinomialNB(alpha = 1.0)

其中，alpha：拉普拉斯平滑系数

实验内容：sklearn20类新闻分类，20个新闻组数据集包含20个主题的18000个新闻组帖子。

实验方法：首先，加载20类新闻数据，并进行分割。然后，生成文章特征词，接着，使用朴素贝叶斯分类器进行预估。

代码实现：

# coding:utf-8
 
from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
 
 
def naviebayes():
    news = fetch_20newsgroups()
    # 进行数据分割
    x_train, x_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.25)
    # 对数据集进行特征抽取
    tf = TfidfVectorizer()
    # 以训练集当中词的列表进行每篇文章重要性统计['a','b','c','d']
    x_train = tf.fit_transform(x_train)
    print(tf.get_feature_names())
    x_test = tf.transform(x_test)
    # 进行朴素贝叶斯算法的预测
    mlt = MultinomialNB(alpha=1.0)
    print(x_train.toarray())
    mlt.fit(x_train, y_train)
    y_predict = mlt.predict(x_test)
    print("预测的文章类别为:", y_predict)
    # 得出准确率
    print("准确率为:", mlt.score(x_test, y_test))
 
if __name__ == '__main__':
    naviebayes()

关注微信公众号【有梦想的程序星空】，了解软件系统和人工智能算法领域的前沿知识，让我们一起学习、一起进步吧！

贝叶朴素 latex xff xff0c 算法概率论机器学习分类

有关【朴素贝叶斯】深入浅出讲解朴素贝叶斯算法（公式、原理）的更多相关文章

世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2
无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD
区块链之加解密算法&数字证书 - 2
目录一.加解密算法数字签名对称加密DES(DataEncryptionStandard)3DES(TripleDES)AES(AdvancedEncryptionStandard)RSA加密法DSA(DigitalSignatureAlgorithm)ECC(EllipticCurvesCryptography)非对称加密签名与加密过程非对称加密的应用对称加密与非对称加密的结合二.数字证书图解一.加解密算法加密简单而言就是通过一种算法将明文信息转换成密文信息，信息的的接收方能够通过密钥对密文信息进行解密获得明文信息的过程。根据加解密的密钥是否相同，算法可以分为对称加密、非对称加密、对称加密和非
100个python算法超详细讲解：画直线 - 2
1．问题描述使用Python的turtle（海龟绘图）模块提供的函数绘制直线。2．问题分析一幅复杂的图形通常都可以由点、直线、三角形、矩形、平行四边形、圆、椭圆和圆弧等基本图形组成。其中的三角形、矩形、平行四边形又可以由直线组成，而直线又是由两个点确定的。我们使用Python的turtle模块所提供的函数来绘制直线。在使用之前我们先介绍一下turtle模块的相关知识点。turtle模块提供面向对象和面向过程两种形式的海龟绘图基本组件。面向对象的接口类如下：1）TurtleScreen类：定义图形窗口作为绘图海龟的运动场。它的构造器需要一个tkinter.Canvas或ScrolledCanva
ruby - 在 Ruby 中实现 Luhn 算法 - 2
我一直在尝试用Ruby实现Luhn算法。我一直在执行以下步骤:该公式根据其包含的校验位验证数字，该校验位通常附加到部分帐号以生成完整帐号。此帐号必须通过以下测试:从最右边的校验位开始向左移动，每第二个数字的值加倍。将乘积的数字(例如，10=1+0=1、14=1+4=5)与原始数字的未加倍数字相加。如果总模10等于0(如果总和以零结尾)，则根据Luhn公式该数字有效；否则无效。http://en.wikipedia.org/wiki/Luhn_algorithm这是我想出的:defvalidCreditCard(cardNumber)sum=0nums=cardNumber.to_s.s
Ruby 斐波那契算法 - 2
下面是我写的一个计算斐波那契数列中的值的方法:deffib(n)ifn==0return0endifn==1return1endifn>=2returnfib(n-1)+(fib(n-2))endend它工作到n=14，但在那之后我收到一条消息说程序响应时间太长(我正在使用repl.it)。有人知道为什么会这样吗？最佳答案 Naivefibonacci进行了大量的重复计算-在fib(14)fib(4)中计算了很多次。您可以将内存添加到您的算法中以使其更快:deffib(n,memo={})ifn==0||n==1returnnen
ruby-on-rails - Rails add_index 算法 : :concurrently still causes database lock up during migration - 2
为了防止在迁移到生产站点期间出现数据库事务错误，我们遵循了https://github.com/LendingHome/zero_downtime_migrations中列出的建议。(具体由https://robots.thoughtbot.com/how-to-create-postgres-indexes-concurrently-in概述)，但在特别大的表上创建索引期间，即使是索引创建的“并发”方法也会锁定表并导致该表上的任何ActiveRecord创建或更新导致各自的事务失败有PG::InFailedSqlTransaction异常。下面是我们运行Rails4.2(使用Acti
ruby - 趋势算法 - 2
我正在开发一个类似微论坛的项目，其中一个特殊用户发布一条快速(接近推文大小)的主题消息，订阅者可以用他们自己的类似大小的消息来响应。直截了当，没有任何形式的“挖掘”或投票，只是每个主题消息的响应按时间顺序排列。但预计会有很高的流量。我们想根据它们引起的响应嗡嗡声来标记主题消息，使用0到10的等级。在谷歌上搜索了一段时间的趋势算法和开源社区应用示例，到目前为止已经收集到两个有趣的引用资料，但我还没有完全理解它们:Understandingalgorithmsformeasuringtrends，关于使用基线趋势算法比较维基百科页面浏览量的讨论，在SO上。TheBritneySpearsP
Ruby - 不支持的密码算法 (AES-256-GCM) - 2
我收到错误:unsupportedcipheralgorithm(AES-256-GCM)(RuntimeError)但我似乎具备所有要求:ruby版本:$ruby--versionruby2.1.2p95OpenSSL会列出gcm:$opensslenc-help2>&1|grepgcm-aes-128-ecb-aes-128-gcm-aes-128-ofb-aes-192-ecb-aes-192-gcm-aes-192-ofb-aes-256-ecb-aes-256-gcm-aes-256-ofbRuby解释器:$irb2.1.2:001>require'openssl';puts
java实现Dijkstra算法 - 2
文章目录一.Dijkstra算法想解决的问题二.Dijkstra算法理论三.java代码实现一.Dijkstra算法想解决的问题解决的问题:求解单源最短路径,即各个节点到达源点的最短路径或权值考察其他所有节点到源点的最短路径和长度局限性:无法解决权值为负数的情况二.Dijkstra算法理论参数:S记录当前已经处理过的源点到最短节点U记录还未处理的节点dist[]记录各个节点到起始节点的最短权值path[]记录各个节点的上一级节点(用来联系该节点到起始节点的路径)Dijkstra算法步骤:(1）初始化:顶点集S:节点A到自已的最短路径长度为0。只包含源点，即S={A}顶点集U:包含除A外的其他顶
【Unity游戏破解】外挂原理分析 - 2
文章目录认识unity打包目录结构游戏逆向流程Unity游戏攻击面可被攻击原因mono的打包建议方案锁血飞天无限金币攻击力翻倍以上统称内存挂透视自瞄压枪瞬移内购破解Unity游戏防御开发时注意数据安全接入第三方反作弊系统外挂检测思路狠人自爆实战查看目录结构用il2cppdumper例子2-森林whoishe后记认识unity打包目录结构dll一般很大，因为里面是所有的游戏功能编译成的二进制码游戏逆向流程开发人员代码被编译打包到GameAssembly.dll中使用il2ppDumper工具，并借助游戏名_Data\il2cpp_data\Metadata\global-metadata.dat