交叉熵（CrossEntropy）在线性回归问题中，常常使用MSE(MeanSquaredError)作为loss函数而在分类问题中常常使用交叉熵作为loss函数。在搜索“交叉熵”这个概念后，看到需要了解一些其他的名词。信息量：衡量信息量的大小就是看这个信息消除不确定性的程度。在一些比较确定的事情上，信息量就为0.譬如说“煤是黑的”，概率P(x)=1，那么-log(P(x))=0而再比如说“小明有10个小孩”，这句话信息量就比较大。假设小明有10个小孩的概率P(x)=0.1，那么信息量I(x)=-log(P(x))=-log(0.1)=3.3219信息量的大小与信息发生的概率成反比。概率越大，

本专栏包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：information-theory】，需要的朋友们自取。或者公众号【AIShareLab】回复信息论也可获取。文章目录离散无记忆信源的序列熵信源的序列熵离散有记忆信源的序列熵平稳有记忆N次扩展源的熵离散无记忆信源的序列熵马尔可夫信源的特点：无后效性。发出单个符号的信源指信源每次只发出一个符号代表一个消息;发出符号序列的信源指信源每次发出一组含二个以上符号的符号序列代表一个消息。当信源无记忆时：p(Xˉ=xi)=p(xi1,xi2,⋯ ,xiL)=p(xi1)p(xi2)p(

文章目录交叉熵损失函数举例说明计算过程为什么是交叉熵损失函数？交叉熵损失函数与平方差误差函数的对比？优缺点？适用场景？1.交叉熵损失函数：2.平方差误差函数：使用Python实现交叉熵损失函数和平方差误差函数的示例代码在使用sigmoid函数作为激活函数时，损失函数有那些选择？分别是什么原因？举例说明：交叉熵损失函数与梯度下降迭代计算过程逻辑回归是一种二分类算法，用于预测一个样本属于哪个类别，通常用0表示负类，1表示正类。交叉熵损失函数逻辑回归的损失函数是交叉熵损失函数，其数学表达式如下：L(

一、多尺度散布熵的概念多尺度散布熵是一种基于计算机的非线性时间序列分析方法，它可以用于描述时间序列的复杂性和非线性特征，适用于多种领域，如金融市场、医学、地质、工程等。多尺度散布熵将时间序列分解成多个时域尺度，计算每个尺度下的散布熵，然后将它们结合起来获得整个时间序列的复杂性特征。散布熵是一种反映序列中每个值变化幅度的度量，它可以反映出序列的稳定性、不规则性和非线性特征。具体地，散布熵是将时间序列转化为获得散布形态的度量，其中散布是将最大值和最小值之差表示为序列中每个值的度量。在多尺度散布熵分析中，时间序列首先经过小波分解，得到不同尺度下的近似系数，然后计算每个尺度下的散布熵值。最后，将不同尺

交叉熵（CrossEntropy）是用来衡量两个概率分布之间的差异性的一种方法。在机器学习和深度学习中，交叉熵常常被用作损失函数，用来衡量模型预测的结果与真实结果之间的差距。设有两个概率分布p和q，p表示真实的分布，q表示模型预测的分布，交叉熵的定义如下：H(p,q)=−∑i=1npilog⁡(qi)H(p,q)=-\sum_{i=1}^{n}p_i\log(q_i)H(p,q)=−i=1∑n​pi​log(qi​)其中，pip_ipi​表示真实分布中第i个事件发生的概率，qiq_iqi​表示模型预测分布中第i个事件发生的概率。交叉熵越小，表示模型预测的结果与真实结果越接近，反之则越不接近。因

最近在学习数学建模，在B站发现一个特别不错的课程，讲的很全面，常考的算法都有涉及到：清风数学建模本文将结合熵权法介绍TOPSIS法，并将淡化原理的推导，更侧重于具体应用。TOPSIS法概述TOPSIS法（优劣解距离法）是一种常用的综合评价方法，能充分利用原始数据的信息，其结果能精确地反映各评价方案之间的差距。同时TOPSIS法也可以结合熵权法使用确定各指标所占的权重。基本过程一、统一指标类型常见的四种指标如下：在进行建模之前需要对所有的指标进行正向化处理，正向化的过程就是将所有指标类型统一转化为极大型指标（越大越好）的过程（转换函数形式不唯一）。假设原始数据序列为x，则各类型指标转化为极大型指

            目录一、算法简述     1.topsis分析法     2.熵权法     3.两种算法的结合二、算法步骤     1.判断指标类型     2.数据正向化         3.正向化矩阵标准化     4.计算概率矩阵P     5.计算各个指标的信息熵     6.计算信息效用值     7.计算熵权     8.计算最优距离和最劣距离     9.计算未归一化得分以及归一化得分三、MATLAB代码实现     1.主函数topsis.m    2.正向化函数Positivization.m     3.熵权法函数Entropy_Method.m    4.ln函

            目录一、算法简述     1.topsis分析法     2.熵权法     3.两种算法的结合二、算法步骤     1.判断指标类型     2.数据正向化         3.正向化矩阵标准化     4.计算概率矩阵P     5.计算各个指标的信息熵     6.计算信息效用值     7.计算熵权     8.计算最优距离和最劣距离     9.计算未归一化得分以及归一化得分三、MATLAB代码实现     1.主函数topsis.m    2.正向化函数Positivization.m     3.熵权法函数Entropy_Method.m    4.ln函

图像统计特征熵用于度量图像所具有的信息量，它反映了图像中纹理的紊乱度或复杂程度。熵值越大，说明纹理越复杂；熵值越小，说明纹理越平滑。均值灰度均值是对区域内亮度的一个度量，可以用来反应图像的明暗程度。方差方差就是数据的分散程度（偏离均值）。对比度反映了图像的清晰度和纹理沟纹深浅的程度。纹理沟纹越深，其对比度越大，视觉效果越清晰；反之，对比度小，则沟纹浅，效果模糊。公式测试图片-从均值、方差做对比对于第一组六张图片，图片越辆均值越大，但方差不会改变（同一张图片只改变亮度）对于第二组图片，对比度不做调节，只调节亮度的情况下，偏离均值的离散度会变大测试图片-从对比度出发对比度越大视觉效果越清晰；纹理越

KL\rmKLKL散度由于以下推导需要用到KL\rmKLKL散度，这里先简单介绍一下。KL\rmKLKL散度一般用于度量两个概率分布函数之间的“距离”，其定义如下：KL[P(X)∣∣Q(X)]=∑x∈X[P(x)log⁡P(x)Q(x)]=Ex∼P(x)[log⁡P(x)Q(x)]KL\big[P(X)||Q(X)\big]=\sum_{x\inX}\Big[P(x)\log\frac{P(x)}{Q(x)}\Big]=E_{x\simP(x)}\Big[\log\frac{P(x)}{Q(x)}\Big]KL[P(X)∣∣Q(X)]=∑x∈X​[P(x)logQ(x)P(x)​]=Ex∼P(