草庐IT

分割常用损失函数

Billie使劲学 2023-09-02 原文

目录

1.交叉熵

2.加权交叉熵

3.BCELoss(Binary Cross Entropy)

4.Focal Loss

5.Dice Loss

6.IoU Loss

7.Jaccard 系数

8.Tversky系数

9.Lovasz-Softmax Loss

10.BCE Loss + Dice Loss

11.Focal Loss + Dice Loss


1.交叉熵

交叉熵损失公式:

其中表示真实标签,表表示预测结果。

优点:交叉熵Loss可以用在大多数语义分割场景中。

缺点:对于只分割前景和背景的时候,当前景像素的数量远远小于背景像素的数量时,即y=0的数量远远大于y=1的数量,损失函数中y=0的成分就会占据主导,使得模型严重偏向背景,导致效果不好。(该缺点对二分类不友好。eg:医学图像分割)

2.加权交叉熵

加权交叉熵损失公式:

3.BCELoss(Binary Cross Entropy)

公式:

特点:基本等价于二分类情况下的交叉熵,通产接sigmoid激活函数的输出。

4.Focal Loss

源自目标检测方向,是对标准交叉熵的一种改进,主要解决难易样本数量不平衡的问题。当正负样本数量不平衡时,可以通过在交叉熵中引入参数进行调节。

应用场景:易分样本多,难分样本少

CE公式:

虽然上述公式平衡了正负样本的数量,但实际上,目标检测中的大量的候选目标都是易分样本。这些样本的损失很低,但是由于数量极不平衡,易分样本的数量相对来讲太多,最终主导了总的损失。目前Focal Loss在分割方向主要适用于二分类问题。

因此,Focal Loss认为易分样本对模型的提升效果非常小,模型应该主要关注那些难分样本。

 FL公式:

参数P:当P→0时,调制因子(1-P)接近1,损失不被影响;当P→1时,(1-P)接近0,从而减少易分样本对总loss的贡献。

参数γ:当γ=0时,Focal Loss就是传统的交叉熵。当γ增加时,调制系数也会增加。当γ为定值时,比如等于2,easy example(P=0.9)的loss要比标准的交叉熵小100+倍,当P=0.968时,要小1000+倍。但是对于hard example(P<0.5),loss最多小了4倍。这样的话hard example的权重相对提升了很多,从而增加了那些误分的重要性。实验表明,γ=2,α=0.75时效果最好。

α:控制正负样本不平衡

γ:控制难易样本不平衡

5.Dice Loss

Dice系数:是用来度量集合相似度的函数,通常用于计算两个样本之间的像素相似度

公式:

(分母上的2为了平衡分子的2)

TP:真实为1,预测为1;FP:真实为0,预测为1

FN:真实为1,预测为0;TN:真实为0,预测为0

如下图所示

Dice Loss适用于样本极度不均衡的情况,一般情况下使用Dice Loss会对反向传播有不利的影响,是的训练不稳定。

Dice Loss公式: 

6.IoU Loss

IoU Loss公式:

7.Jaccard 系数

Jaccard系数:定义为A与B交集的大小与A与B并集的大小的比值。

8.Tversky系数

Tversky系数:是Dice系数和Jaccard系数的广义系数

当α和β均为0.5时,这个公式就是Dice系数,当α和β均为1时,这个公式就是Jaccard系数。通过调整α和β这两个超参数可以控制这两者之间的权衡,进而影响召回率等指标。

9.Lovasz-Softmax Loss

Lovasz-Softmax Loss:对Jaccard进行扩展,表现更好

 

10.BCE Loss + Dice Loss

BCE Loss + Dice Loss:将BCE Loss和Dice Loss进行组合,在数据较为均衡的情况下有所改善,但是再数据极度不均衡的情况下交叉熵会在迭代几个Epoch之后远远小于Dice Loss,这个组合Loss会退化为Dice Loss

11.Focal Loss + Dice Loss

Focal Loss + Dice Loss:论文提出了使用Focal Loss和Dice Loss来处理小器官的分割问题。关注难分样本。

有关分割常用损失函数的更多相关文章

  1. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

    大约一年前,我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞,我可以在一个地方轻松完成,而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

  2. ruby - 在没有 sass 引擎的情况下使用 sass 颜色函数 - 2

    我想在一个没有Sass引擎的类中使用Sass颜色函数。我已经在项目中使用了sassgem,所以我认为搭载会像以下一样简单:classRectangleincludeSass::Script::FunctionsdefcolorSass::Script::Color.new([0x82,0x39,0x06])enddefrender#hamlengineexecutedwithcontextofself#sothatwithintemlateicouldcall#%stop{offset:'0%',stop:{color:lighten(color)}}endend更新:参见上面的#re

  3. ruby-on-rails - 在 ruby​​ 中使用 gsub 函数替换单词 - 2

    我正在尝试用ruby​​中的gsub函数替换字符串中的某些单词,但有时效果很好,在某些情况下会出现此错误?这种格式有什么问题吗NoMethodError(undefinedmethod`gsub!'fornil:NilClass):模型.rbclassTest"replacethisID1",WAY=>"replacethisID2andID3",DELTA=>"replacethisID4"}end另一个模型.rbclassCheck 最佳答案 啊,我找到了!gsub!是一个非常奇怪的方法。首先,它替换了字符串,所以它实际上修改了

  4. ruby - 在 Ruby 中有条件地定义函数 - 2

    我有一些代码在几个不同的位置之一运行:作为具有调试输出的命令行工具,作为不接受任何输出的更大程序的一部分,以及在Rails环境中。有时我需要根据代码的位置对代码进行细微的更改,我意识到以下样式似乎可行:print"Testingnestedfunctionsdefined\n"CLI=trueifCLIdeftest_printprint"CommandLineVersion\n"endelsedeftest_printprint"ReleaseVersion\n"endendtest_print()这导致:TestingnestedfunctionsdefinedCommandLin

  5. ruby - 在 Ruby 中按名称传递函数 - 2

    如何在Ruby中按名称传递函数?(我使用Ruby才几个小时,所以我还在想办法。)nums=[1,2,3,4]#Thisworks,butismoreverbosethanI'dlikenums.eachdo|i|putsiend#InJS,Icouldjustdosomethinglike:#nums.forEach(console.log)#InF#,itwouldbesomethinglike:#List.iternums(printf"%A")#InRuby,IwishIcoulddosomethinglike:nums.eachputs在Ruby中能不能做到类似的简洁?我可以只

  6. C51单片机——实现用独立按键控制LED亮灭(调用函数篇) - 2

    说在前面这部分我本来是合为一篇来写的,因为目的是一样的,都是通过独立按键来控制LED闪灭本质上是起到开关的作用,即调用函数和中断函数。但是写一篇太累了,我还是决定分为两篇写,这篇是调用函数篇。在本篇中你主要看到这些东西!!!1.调用函数的方法(主要讲语法和格式)2.独立按键如何控制LED亮灭3.程序中的一些细节(软件消抖等)1.调用函数的方法思路还是比较清晰地,就是通过按下按键来控制LED闪灭,即每按下一次,LED取反一次。重要的是,把按键与LED联系在一起。我打算用K1来作为开关,看了一下开发板原理图,K1连接的是单片机的P31口,当按下K1时,P31是与GND相连的,也就是说,当我按下去时

  7. ruby-on-rails - 将字符串转换为 ruby​​-on-rails 中的函数 - 2

    我需要一个通过输入字符串进行计算的方法,像这样function="(a/b)*100"a=25b=50function.something>>50有什么方法吗? 最佳答案 您可以使用instance_eval:function="(a/b)*100"a=25.0b=50instance_evalfunction#=>50.0请注意,使用eval本质上是不安全的,尤其是当您使用外部输入时,因为它可能包含注入(inject)的恶意代码。另请注意,a设置为25.0而不是25,因为如果它是整数a/b将导致0(整数)。

  8. ruby - 在 ruby​​ 中使用 .try 函数和 .map 函数 - 2

    我需要从json记录中获取一些值并像下面这样提取curr_json_doc['title']['genre'].map{|s|s['name']}.join(',')但对于某些记录,curr_json_doc['title']['genre']可以为空。所以我想对map和join()使用try函数。我试过如下curr_json_doc['title']['genre'].try(:map,{|s|s['name']}).try(:join,(','))但是没用。 最佳答案 你没有正确传递block。block被传递给参数括号外的方法

  9. ruby - 是否可以从也在该模块中的类内部调用模块函数 - 2

    在这段Ruby代码中:ModuleMClassC当我尝试运行时出现“'M:Module'的未定义方法'helper'”错误c=M::C.new("world")c.work但直接从另一个类调用M::helper("world")工作正常。类不能调用在定义它们的同一模块中定义的模块函数吗?除了将类移出模块外,还有其他解决方法吗? 最佳答案 为了调用M::helper,你需要将它定义为defself.helper;结束为了进行比较,请查看以下修改后的代码段中的helper和helper2moduleMclassC

  10. ruby - 将运算符传递给函数? - 2

    也许这听起来很荒谬,但我想知道这对Ruby是否可行?基本上我有一个功能...defadda,bc=a+breturncend我希望能够将“+”或其他运算符(例如“-”)传递给函数,这样它就类似于...defsuma,b,operatorc=aoperatorbreturncend这可能吗? 最佳答案 两种可能性:以方法/算子名作为符号:defsuma,b,operatora.send(operator,b)endsum42,23,:+或者更通用的解决方案:采取一个block:defsuma,byielda,bendsum42,23,

随机推荐