草庐IT

损失函数（lossfunction）的全面介绍（简单易懂版）

小林学编程 2023-04-18 原文

一：什么是损失函数：

简单的理解就是每一个样本经过模型后会得到一个预测值，然后得到的预测值和真实值的差值就成为损失（当然损失值越小证明模型越是成功），我们知道有许多不同种类的损失函数，这些函数本质上就是计算预测值和真实值的差距的一类型函数，然后经过库（如pytorch，tensorflow等）的封装形成了有具体名字的函数。

二：为什么需要损失函数：

我们上文说到损失函数是计算预测值和真实值的一类函数，而在机器学习中，我们想让预测值无限接近于真实值，所以需要将差值降到最低（在这个过程中就需要引入损失函数）。而在此过程中损失函数的选择是十分关键的，在具体的项目中，有些损失函数计算的差值梯度下降的快，而有些下降的慢，所以选择合适的损失函数也是十分关键的。

三：损失函数通常使用的位置：

在机器学习中，我们知道输入的feature（或称为x）需要通过模型（model）预测出y，此过程称为向前传播（forward pass），而要将预测与真实值的差值减小需要更新模型中的参数，这个过程称为向后传播（backward pass），其中我们损失函数（lossfunction）就基于这两种传播之间，起到一种有点像承上启下的作用，承上指：接収模型的预测值，启下指：计算预测值和真实值的差值，为下面反向传播提供输入数据。

四：常用的损失函数（基于pytorch）：

1：L1Loss函数：

（1）：数学本质：

ps:1：带小帽子的y（y_hat）表示的是经过模型的预测值，y可以表示真实值。

     2：图中的m指的是一行数据中的m列（下面证明中展现的更加清晰）

（2）：证明：

我们首先先引用一下函数先计算一个结果：

import torch as th
import torch.nn as nn

loss=nn.L1Loss()

input=th.Tensor([2,3,4,5])
target=th.Tensor([4,5,6,7])
output=loss(input,target)

output

tensor(2.)

我们可以用手动计算来验证数学本质正不正确（数学本质中的m在文中具体数值为4）：

output=（|2-4|+|3-5|+|4-6|+|5-7|)/4=2

ps:因为我们函数的“reduction”（l1loss函数的参数）选择的是默认的"mean"（平均值），所以还会在除以一个"4",如果我们设置“loss=L1Loss(reduction='sum')则不用再除以4。

2：MSELoss函数：

（1）：数学本质：

 

 ps：在此数学公式中的参数含义与L1Loss函数参数意义相同
 

（2）：证明：
 

我们首先先引用一下函数先计算一个结果：
 

import torch as th
import torch.nn as nn

loss=nn.MSELoss()


input=th.Tensor([2,3,4,5])
target=th.Tensor([4,5,6,7])
output=loss(input,target)

output

tensor(4.)


 

我们可以用手动计算来验证数学本质正不正确：
 

output=[（2-4）^2+(3-5)^2+(4-6)^2+(5-7)^2  ]/4=4
 

3:CrossEntropyLoss函数（交叉熵函数）
 

    因为此函数涉及到的知识内容很多，此文就不介绍此函数，在下文参考链接中我会提供详细描述此函数的文章，以供大家参考。
 

    在读文章之前，先补充几个知识点，以便读者更好地看懂文章:
 

（1）：CrossEntropyLoss函数主要用于分类项目中运用
 

  (2)   ：one-hot（独热）编码：
 


  one-hot
 
猫狗兔
1100
2010
3001


ps：最左边的一列1,2,3代表样本属于猫，狗，兔中的某一种，最上面一行是分类（图中猫，狗，兔三类属于三分类问题，当然在编码过程中种类是用数字来代替的），如图，1这一行在猫下有1（表示属于猫），在狗和兔下为0（表示1样本不属于狗和兔）以此类推，分类数据这样编写让样本与样本的欧式距离一致（根据离散特征的某个取值对应欧式空间的某一点）
 

（3）函数的理解：
 

关于图中公式的理解，此变换是softmax函数变换具体表达方式如下：
 

假设输入的y_hat=[1,2,3,4]
 

则经过图中函数变换输出的值=[e^1/(e^1+e^2+e^3+e^4),e^2/(e^1+e^2+e^3+e^4),e^3/(e^1+e^2+e^3+e^4),e^4/(e^1+e^2+e^3+e^4)]
 

五：参考资料：
 

（1）：CrossEntropyLoss函数的详细介绍：
 

https://blog.csdn.net/weixin_41940752/article/details/93159710
 

（2）：其他损失函数：
 

https://blog.csdn.net/weixin_41122036/article/details/103270152
 

（3）:CrossEntropyLoss函数怎么得来的：
 

https://www.bilibili.com/video/BV15V411W7VB?spm_id_from=333.1007.top_right_bar_window_history.content.click
 


  
            

            
易懂lossfunctionxffxff1axff0c深度学习机器学习pytorchpython
        

        

            
有关损失函数（lossfunction）的全面介绍（简单易懂版）的更多相关文章

            
    
                
  1. ruby - 在没有 sass 引擎的情况下使用 sass 颜色函数 - 2
    				我想在一个没有Sass引擎的类中使用Sass颜色函数。我已经在项目中使用了sassgem，所以我认为搭载会像以下一样简单:classRectangleincludeSass::Script::FunctionsdefcolorSass::Script::Color.new([0x82,0x39,0x06])enddefrender#hamlengineexecutedwithcontextofself#sothatwithintemlateicouldcall#%stop{offset:'0%',stop:{color:lighten(color)}}endend更新:参见上面的#re
  2. ruby-on-rails - 在 ruby​​ 中使用 gsub 函数替换单词 - 2
    				我正在尝试用ruby​​中的gsub函数替换字符串中的某些单词，但有时效果很好，在某些情况下会出现此错误？这种格式有什么问题吗NoMethodError(undefinedmethod`gsub!'fornil:NilClass):模型.rbclassTest"replacethisID1",WAY=>"replacethisID2andID3",DELTA=>"replacethisID4"}end另一个模型.rbclassCheck															最佳答案														啊，我找到了!gsub!是一个非常奇怪的方法。首先，它替换了字符串，所以它实际上修改了
  3. ruby - 简单获取法拉第超时 - 2
    				有没有办法在这个简单的get方法中添加超时选项？我正在使用法拉第3.3。Faraday.get(url)四处寻找，我只能先发起连接后应用超时选项，然后应用超时选项。或者有什么简单的方法？这就是我现在正在做的:conn=Faraday.newresponse=conn.getdo|req|req.urlurlreq.options.timeout=2#2secondsend															最佳答案														试试这个:conn=Faraday.newdo|conn|conn.options.timeout=20endresponse=conn.get(url
  4. ruby - 在 Ruby 中有条件地定义函数 - 2
    				我有一些代码在几个不同的位置之一运行:作为具有调试输出的命令行工具，作为不接受任何输出的更大程序的一部分，以及在Rails环境中。有时我需要根据代码的位置对代码进行细微的更改，我意识到以下样式似乎可行:print"Testingnestedfunctionsdefined\n"CLI=trueifCLIdeftest_printprint"CommandLineVersion\n"endelsedeftest_printprint"ReleaseVersion\n"endendtest_print()这导致:TestingnestedfunctionsdefinedCommandLin
  5. ruby - 用 Ruby 编写一个简单的网络服务器 - 2
    				我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不，不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本，提供另一个脚本，它将在其标准输入上获取请求，并在其标准输出上返回完整的响应。到目前为止一切顺利，但事实证明这真的很脆弱，因为它在第二个请求上中断并出现错误:/usr/b
  6. ruby-on-rails - 简单的 Ruby on Rails 问题——如何将评论附加到用户和文章？ - 2
    				我意识到这可能是一个非常基本的问题，但我现在已经花了几天时间回过头来解决这个问题，但出于某种原因，Google就是没有帮助我。(我认为部分问题在于我是一个初学者，我不知道该问什么......)我也看过O'Reilly的RubyCookbook和RailsAPI，但我仍然停留在这个问题上.我找到了一些关于多态关系的信息，但它似乎不是我需要的(尽管如果我错了请告诉我)。我正在尝试调整MichaelHartl'stutorial创建一个包含用户、文章和评论的博客应用程序(不使用脚手架)。我希望评论既属于用户又属于文章。我的主要问题是:我不知道如何将当前文章的ID放入评论Controller。
  7. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2
    无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD
  8. ruby - 使用 Ruby 通过 Outlook 发送消息的最简单方法是什么？ - 2
    				我的工作要求我为某些测试自动生成电子邮件。我一直在四处寻找，但未能找到可以快速实现的合理解决方案。它需要在outlook而不是其他邮件服务器中，因为我们有一些奇怪的身份验证规则，我们需要保存草稿而不是仅仅发送邮件的选项。显然win32ole可以做到这一点，但我找不到任何相当简单的例子。															最佳答案														假设存储了Outlook凭据并且您设置为自动登录到Outlook，WIN32OLE可以很好地完成此操作:require'win32ole'outlook=WIN32OLE.new('Outlook.Application')message=
  9. ruby - 在 Ruby 中按名称传递函数 - 2
    				如何在Ruby中按名称传递函数？(我使用Ruby才几个小时，所以我还在想办法。)nums=[1,2,3,4]#Thisworks,butismoreverbosethanI'dlikenums.eachdo|i|putsiend#InJS,Icouldjustdosomethinglike:#nums.forEach(console.log)#InF#,itwouldbesomethinglike:#List.iternums(printf"%A")#InRuby,IwishIcoulddosomethinglike:nums.eachputs在Ruby中能不能做到类似的简洁？我可以只
  10. Unity 热更新技术 | （三） Lua语言基本介绍及下载安装 - 2
    ?博客主页：https://xiaoy.blog.csdn.net?本文由呆呆敲代码的小Y原创，首发于CSDN??学习专栏推荐：Unity系统学习专栏?游戏制作专栏推荐：游戏制作?Unity实战100例专栏推荐：Unity实战100例教程?欢迎点赞?收藏⭐留言?如有错误敬请指正！?未来很长，值得我们全力奔赴更美好的生活✨------------------❤️分割线❤️-------------------------
    11.             

        

        

            
随机推荐