BCE（Binary CrossEntropy）损失函数
二分类是每个AI初学者接触的问题，例如猫狗分类、垃圾邮件分类…在二分类中，我们只有两种样本（正样本和负样本），一般正样本的标签y=1，负样本的标签y=0。比如下边这张图片，判断里边有没有人。
那么这张图片的标签为y=1，这时我们就根据标签y=1来设计模型的输出就行了。因为二分类只有正样本和负样本，并且两者的概率之和为1，所以不需要预测一个向量，只需要输出一个概率值就好了。损失函数一般是输出经过sigmoid激活函数之后，采用交叉熵损失函数计算LOSS，即
L
O
S
S
=
−
(
y
l
o
g
(
p
(
x
)
+
(
1
−
y
)
l
o
g
(
1
−
p
(
x
)
)
LOSS=-(ylog(p(x)+(1-y)log(1-p(x))
LOSS=−(ylog(p(x)+(1−y)log(1−p(x))
其中p(x)是模型输出，y是真实标签。
我看到过的关于Sigmoid激活函数和Softmax函数的比较好的解释，分享给大家：
看到上边的解释，我们应该心里会有些许明朗。为何二分类采用Sigmoid激活函数和BCE损失函数；多分类，我们可以采用Softmax激活函数和多类别交叉熵损失函数。；对于多标签分类，采用Sigmoid激活函数和BCE损失函数了。
在这里不禁感慨，深度学习也不完全是炼丹，损失函数、激活函数、模型结构等都是大牛们结合统计学和目标场景设计的。
现在我换一个问题，这张图片中有没有人，有没有手机（多标签分类），那这时的标签就有四种情况了：
| 标签 | 含义 |
|---|---|
| (0, 0) | 图中既没人，也没手机 |
| (0, 1) | 图中没人，但是有手机 |
| (1, 0) | 图中有人，但是没手机 |
| (1, 1) | 图中既有人，也有手机 |
以此类推，还可以扩展到
2
n
2^n
2n种情况（n类别分类）。很明显，问题已经由普通的二分类变成了多标签分类。多标签分类问题的输出和损失函数应该怎么定义呢？
因为多标签分类中有多个类别，不能单纯的输出一个值，而是应该输出一个向量，并且也不能继续将输出简单的用Softmax归一化到[0, 1]的概率值，且各类别的概率相加为1。**因为各类别之间不是互斥的，允许同时出现。**我们可以用sigmoid激活函数分别将输出向量的每个元素转换为概率值。
对于损失函数，比较简单的思路就是对输出向量的每个元素单独使用交叉熵损失函数，然后计算平均值。这就是我们今天要说的BCE。看一下Pytorch官方源码的实现方式就知道了。
举个例子，假如模型输出
>>> import torch
>>> output = torch.randn(3,3)
>>> output
tensor([[-0.8858, 0.3241, 0.9456],
[ 1.4887, 1.8076, -0.0565],
[-1.6529, -1.8539, 0.6756]])
首先将输出向量中的所有元素转换为[0, 1]之间的概率值
>>> active_func = nn.Sigmoid()
>>> output = active_func(output)
>>> output
tensor([[0.2920, 0.5803, 0.7202],
[0.8159, 0.8591, 0.4859],
[0.1607, 0.1354, 0.6627]])
假设输入数据对应的标签为
>>> target = torch.FloatTensor([[0,1,1],[1,1,1],[0,0,0]])
>>> target
tensor([[0., 1., 1.],
[1., 1., 1.],
[0., 0., 0.]])
使用BCE损失函数计算LOSS
>>> loss = nn.BCELoss()
>>> loss = loss(output, target)
>>> loss
tensor(0.4114)
经过上边的分析，BCE主要适用于二分类的任务，而且多标签分类任务可以简单地理解为多个二元分类任务叠加。所以BCE经过简单修改也可以适用于多标签分类任务。使用BCE之前，需要将输出变量量化在[0，1]之间（可以使用Sigmoid激活函数）。上边我们也深度刨析了Sigmoid和Softmax两种激活函数，探究其统计学本质，Sigmoid的输出为伯努利分布，也就是我们常说的二项分布；而Softmax的输出表示为多项式分布。所以Sigmoid通常用于二分类，Softmax用于多类别分类。
我想在一个没有Sass引擎的类中使用Sass颜色函数。我已经在项目中使用了sassgem，所以我认为搭载会像以下一样简单:classRectangleincludeSass::Script::FunctionsdefcolorSass::Script::Color.new([0x82,0x39,0x06])enddefrender#hamlengineexecutedwithcontextofself#sothatwithintemlateicouldcall#%stop{offset:'0%',stop:{color:lighten(color)}}endend更新:参见上面的#re
我正在尝试用ruby中的gsub函数替换字符串中的某些单词，但有时效果很好，在某些情况下会出现此错误？这种格式有什么问题吗NoMethodError(undefinedmethod`gsub!'fornil:NilClass):模型.rbclassTest"replacethisID1",WAY=>"replacethisID2andID3",DELTA=>"replacethisID4"}end另一个模型.rbclassCheck 最佳答案 啊，我找到了!gsub!是一个非常奇怪的方法。首先，它替换了字符串，所以它实际上修改了
我有一些代码在几个不同的位置之一运行:作为具有调试输出的命令行工具，作为不接受任何输出的更大程序的一部分，以及在Rails环境中。有时我需要根据代码的位置对代码进行细微的更改，我意识到以下样式似乎可行:print"Testingnestedfunctionsdefined\n"CLI=trueifCLIdeftest_printprint"CommandLineVersion\n"endelsedeftest_printprint"ReleaseVersion\n"endendtest_print()这导致:TestingnestedfunctionsdefinedCommandLin
如何在Ruby中按名称传递函数？(我使用Ruby才几个小时，所以我还在想办法。)nums=[1,2,3,4]#Thisworks,butismoreverbosethanI'dlikenums.eachdo|i|putsiend#InJS,Icouldjustdosomethinglike:#nums.forEach(console.log)#InF#,itwouldbesomethinglike:#List.iternums(printf"%A")#InRuby,IwishIcoulddosomethinglike:nums.eachputs在Ruby中能不能做到类似的简洁？我可以只
说在前面这部分我本来是合为一篇来写的，因为目的是一样的，都是通过独立按键来控制LED闪灭本质上是起到开关的作用，即调用函数和中断函数。但是写一篇太累了，我还是决定分为两篇写，这篇是调用函数篇。在本篇中你主要看到这些东西！！！1.调用函数的方法（主要讲语法和格式）2.独立按键如何控制LED亮灭3.程序中的一些细节（软件消抖等）1.调用函数的方法思路还是比较清晰地，就是通过按下按键来控制LED闪灭，即每按下一次，LED取反一次。重要的是，把按键与LED联系在一起。我打算用K1来作为开关，看了一下开发板原理图，K1连接的是单片机的P31口，当按下K1时，P31是与GND相连的，也就是说，当我按下去时
我需要一个通过输入字符串进行计算的方法，像这样function="(a/b)*100"a=25b=50function.something>>50有什么方法吗？ 最佳答案 您可以使用instance_eval:function="(a/b)*100"a=25.0b=50instance_evalfunction#=>50.0请注意，使用eval本质上是不安全的，尤其是当您使用外部输入时，因为它可能包含注入(inject)的恶意代码。另请注意，a设置为25.0而不是25，因为如果它是整数a/b将导致0(整数)。
我需要从json记录中获取一些值并像下面这样提取curr_json_doc['title']['genre'].map{|s|s['name']}.join(',')但对于某些记录，curr_json_doc['title']['genre']可以为空。所以我想对map和join()使用try函数。我试过如下curr_json_doc['title']['genre'].try(:map,{|s|s['name']}).try(:join,(','))但是没用。 最佳答案 你没有正确传递block。block被传递给参数括号外的方法
在这段Ruby代码中:ModuleMClassC当我尝试运行时出现“'M:Module'的未定义方法'helper'”错误c=M::C.new("world")c.work但直接从另一个类调用M::helper("world")工作正常。类不能调用在定义它们的同一模块中定义的模块函数吗？除了将类移出模块外，还有其他解决方法吗？ 最佳答案 为了调用M::helper，你需要将它定义为defself.helper;结束为了进行比较，请查看以下修改后的代码段中的helper和helper2moduleMclassC
也许这听起来很荒谬，但我想知道这对Ruby是否可行？基本上我有一个功能...defadda,bc=a+breturncend我希望能够将“+”或其他运算符(例如“-”)传递给函数，这样它就类似于...defsuma,b,operatorc=aoperatorbreturncend这可能吗？ 最佳答案 两种可能性:以方法/算子名作为符号:defsuma,b,operatora.send(operator,b)endsum42,23,:+或者更通用的解决方案:采取一个block:defsuma,byielda,bendsum42,23,
所以我正在研究RubyKoans，而且我遇到了一个我认为是ruby1.9.x特有的问题。deftest_calling_global_methods_without_parenthesesresult=my_global_method2,3assert_equal5,resultend我明白了:james@tristan:~/code/ruby_projects/ruby_koans$rake(in/home/james/code/ruby_projects/ruby_koans)cdkoans/home/james/.rvm/rubies/ruby-1.9.2-p180/bin/ru