摘要：本篇内容和大家一起学习下机器学习和深度学习中常用到的几种loss函数。本文分享自华为云社区《【MindSpore易点通】网络实战之交叉熵类Loss函数》，作者：Skytier。本篇内容和大家一起学习下机器学习和深度学习中常用到的几种loss函数，根据计算分类方式以及场景的不同，我分为了以下三部分进行分析。CrossEntropyLoss交叉熵函数是在分类模型中常用的一种损失函数，其表达式为：其中用到了信息熵的概念，信息量是一个事件发生所带来的信息，而信息熵则是在结果出来之前对可能产生的信息量的期望，考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。因此我们可以得到信息
今天来聊聊非常规的损失函数。在常用的分类交叉熵，以及回归均方误差之外，针对训练样本可能存在的数据长尾，标签噪声，数据不均衡等问题，我们来聊聊适用不同场景有针对性的损失函数。第一章我们介绍，当标注标签存在噪声时可以尝试的损失函数，这里的标签噪声主要指独立于特征分布的标签噪声。代码详见pytorch,TensorflowSymmetricLossFunctionpaper:MakingRiskMinimizationToleranttoLabelNoise这里我们用最基础的二分类问题，和一个简化的假设"标注噪声和标签独立且均匀分布"，来解释下什么是对标注噪声鲁棒的损失函数。假设整体误标注的样本占比
本文记录了在TensorFlow框架中自定义训练函数的模板并简述了使用自定义训练函数的优势与劣势。首先需要说明的是，本文中所记录的训练函数模板参考自https://stackoverflow.com/questions/59438904/applying-callbacks-in-a-custom-training-loop-in-tensorflow-2-0中的回答以及Hands-OnMachineLearningwithScikit-Learn,Keras,andTensorflow一书中第12.3.9节的内容，如有错漏，欢迎指正。为什么和什么时候需要自定义训练函数除非你真的需要额外的灵活
今天来聊聊非常规的损失函数。在常用的分类交叉熵，以及回归均方误差之外，针对训练样本可能存在的数据长尾，标签噪声，数据不均衡等问题，我们来聊聊适用不同场景有针对性的损失函数。第一章我们介绍，当标注标签存在噪声时可以尝试的损失函数，这里的标签噪声主要指独立于特征分布的标签噪声。代码详见pytorch,TensorflowSymmetricLossFunctionpaper:MakingRiskMinimizationToleranttoLabelNoise这里我们用最基础的二分类问题，和一个简化的假设"标注噪声和标签独立且均匀分布"，来解释下什么是对标注噪声鲁棒的损失函数。假设整体误标注的样本占比
本文记录了在TensorFlow框架中自定义训练函数的模板并简述了使用自定义训练函数的优势与劣势。首先需要说明的是，本文中所记录的训练函数模板参考自https://stackoverflow.com/questions/59438904/applying-callbacks-in-a-custom-training-loop-in-tensorflow-2-0中的回答以及Hands-OnMachineLearningwithScikit-Learn,Keras,andTensorflow一书中第12.3.9节的内容，如有错漏，欢迎指正。为什么和什么时候需要自定义训练函数除非你真的需要额外的灵活
摘要：该方法的主要思想是使用数值较大的排在前面的梯度进行反向传播，可以认为是一种在线难例挖掘方法，该方法使模型讲注意力放在较难学习的样本上，以此让模型产生更好的效果。本文分享自华为云社区《ATKLoss论文复现与代码实战》，作者：李长安。损失是一种非常通用的聚合损失，其可以和很多现有的定义在单个样本上的损失结合起来，如logistic损失，hinge损失，平方损失（L2），绝对值损失（L1）等等。通过引入自由度k，损失可以更好的拟合数据的不同分布。当数据存在多分布或类别分布不均衡的时候，最小化平均损失会牺牲掉小类样本以达到在整体样本集上的损失最小；当数据存在噪音或外点的时候，最大损失对噪音非常
摘要：该方法的主要思想是使用数值较大的排在前面的梯度进行反向传播，可以认为是一种在线难例挖掘方法，该方法使模型讲注意力放在较难学习的样本上，以此让模型产生更好的效果。本文分享自华为云社区《ATKLoss论文复现与代码实战》，作者：李长安。损失是一种非常通用的聚合损失，其可以和很多现有的定义在单个样本上的损失结合起来，如logistic损失，hinge损失，平方损失（L2），绝对值损失（L1）等等。通过引入自由度k，损失可以更好的拟合数据的不同分布。当数据存在多分布或类别分布不均衡的时候，最小化平均损失会牺牲掉小类样本以达到在整体样本集上的损失最小；当数据存在噪音或外点的时候，最大损失对噪音非常
通过使用mnist（AI界的helloworld）手写数字模型训练集，了解下AI工作的基本流程。本例子，要基于mnist数据集（该数据集包含了【0-9】的模型训练数据集和测试数据集）来完成一个手写数字识别的小demo。mnist数据集，图片大小是28*28的黑白。包含了6w训练数据和1w验证数据。麻雀虽小五脏俱全。通过这个CV类型的demo需求，我们会学到神经网络模型。从数据加载，到数据预处理，再到训练模型，保存模型。然后再通过模型来预测我们输入的图片数字。通过整个过程下来，对于像我这样初识AI深度学习者来说，可以有一个非常好的体感。我们通过keras+tensorflow2.0来上手。数据加
通过使用mnist（AI界的helloworld）手写数字模型训练集，了解下AI工作的基本流程。本例子，要基于mnist数据集（该数据集包含了【0-9】的模型训练数据集和测试数据集）来完成一个手写数字识别的小demo。mnist数据集，图片大小是28*28的黑白。包含了6w训练数据和1w验证数据。麻雀虽小五脏俱全。通过这个CV类型的demo需求，我们会学到神经网络模型。从数据加载，到数据预处理，再到训练模型，保存模型。然后再通过模型来预测我们输入的图片数字。通过整个过程下来，对于像我这样初识AI深度学习者来说，可以有一个非常好的体感。我们通过keras+tensorflow2.0来上手。数据加
