草庐IT

小样本利器3. 半监督最小熵正则 MinEnt & PseudoLabel代码实现

风雨中的小七 2023-03-28 原文

在前两章中我们已经聊过对抗学习FGM，一致性正则Temporal等方案，主要通过约束模型对细微的样本扰动给出一致性的预测，推动决策边界更加平滑。这一章我们主要针对低密度分离假设，聊聊如何使用未标注数据来推动决策边界向低密度区移动，相关代码实现详见ClassicSolution/enhancement

半监督领域有几个相互关联的基础假设

  • Smoothness平滑度假设：两个样本在高密度空间特征相近，则他们的label大概率相同，宏毅老师美其名曰近朱者赤近墨者黑。这里的高密度比较难理解，感觉可以近似理解为DBSCAN中的密度可达
  • Cluster聚类假设：高维特征空间中，同一个簇的样本应该有相同的label，这里的簇其实对应上面平滑假设中的高密度空间。这个假设很强可以理解成Smoothness的特例，在平滑假设中并不一定要成簇
  • Low-density Separation低密度分离假设：分类边界应该处于样本空间的低密度区。这个假设更多是以上假设的必要条件，如果决策边界处高密度区，则无法保证聚类簇的完整，以及样本近邻label一致的平滑假设

我们举个栗子来理解低密度分离，下图中蓝点和黄点是标注数据样本，绿点是未标注数据。只使用标注样本进行训练，决策边界可能处于中间空白的任意区域，包括未标注样本所在的高密度区。如果分类边界处于高密度区，模型在未标注样本上的预测熵值会偏高，也就是类别之间区分度较低。因此要推动模型远离高密度区，可以通过提高模型在无标注样本上的预测置信度，降低预测熵值来实现，以下给出两种方案MinEnt和PseudoLabel来实现最小熵正则

Entropy-Minimization

  • Paper: Semi-supervised Learning by entropy minimization

在之后很多半监督的论文中都能看到05年这边Entropy Minimization的相关引用。论文的核心通过最小化未标注样本的预测概率熵值，来提高模型在以上聚类假设，低密度假设上的稳健性。

实现就是在标注样本交叉熵的基础上加入未标注样本的预测熵值H（y|x），作者称之为熵正则，并通过\(\lambda\)来控制正则项的权重

这篇paper咋说呢公式不少，不过都是旁敲侧击的从极大似然等角度来说熵正则有效的原因，但并没给出严谨的证明。。。

Pseudo-Label

  • paper: Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method for Deep Neural Networks

13年提出的Pseudo Label，其实和上面的MinEnt可以说是一个模子出来的。设计很简单，在训练过程中直接加入未标注数据，使用模型当前的预测结果，也就是pseudo label直接作为未标注样本的label，同样计算交叉熵，并和标注样本的交叉熵融合得到损失函数，如下

最开始读会比较疑惑，因为之前了解到对pseudo label多是self-training的路子，先用标注数据训练模型，然后在未标注样本上预测，筛选高置信的未标注样本再训练新模型，训练多轮直到模型效果不再提升，而这篇文章的实现其实是把未标注样本作为正则项。因为预测label和预测概率是相同模型给出的，因此最小化预测label的交叉熵，也就是最大化预测为1的class对应的概率值，和MinEnt直接最小化未标注样本交叉熵的操作可谓殊途同归~

正则项的权重部分设计的更加精巧一些，作者使用了分段的权重配置，epoch<T1时正则项的权重为0，避免模型最初训练效果较差时，预测的label准确率低正则项会影响模型收敛，训练到中段后逐渐提高正则项的权重，超过一定epoch之后，权重停止增长。

以上两个基于最小熵正则的实现方案都简单，不过在一些分类任务上尝试后感觉效果比较玄学，在kaggle上分技巧中有大神说过在一些样本很小, 整体边界比较清晰的任务上可能会有提升。主要问题是pseudo label中错误的预测值其实就是噪声样本，所以会在训练中引入噪声，尤其当epoch增长到一定程度后，噪声样本对模型拟合的影响会逐渐增加，而最小熵当样本本身处于错误的区域时，预测置信度的提高，其实是增加了错误预测的置信度。不过之后一些改良方案中都有借鉴最小熵，所以在后面我们会再提到它~

Reference

  1. https://github.com/iBelieveCJM/pseudo_label-pytorch
  2. https://zhuanlan.zhihu.com/p/72879773
  3. https://www.kaggle.com/code/cdeotte/pseudo-labeling-qda-0-969/notebook
  4. https://stats.stackexchange.com/questions/364584/why-does-using-pseudo-labeling-non-trivially-affect-the-results
小样PseudoLabel1326688httpscenter人工智能

有关小样本利器3. 半监督最小熵正则 MinEnt & PseudoLabel代码实现的更多相关文章

  1. ruby-on-rails - rails : "missing partial" when calling 'render' in RSpec test - 2

    我正在尝试测试是否存在表单。我是Rails新手。我的new.html.erb_spec.rb文件的内容是:require'spec_helper'describe"messages/new.html.erb"doit"shouldrendertheform"dorender'/messages/new.html.erb'reponse.shouldhave_form_putting_to(@message)with_submit_buttonendendView本身，new.html.erb，有代码:当我运行rspec时，它失败了:1)messages/new.html.erbshou

  2. ruby-on-rails - 由于 "wkhtmltopdf"，PDFKIT 显然无法正常工作 - 2

    我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中，我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-

  3. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

  4. ruby - 如何在 buildr 项目中使用 Ruby 代码？ - 2

    如何在buildr项目中使用Ruby？我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序，我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/)，但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻，因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby​​

  5. ruby-on-rails - Rails 源代码 : initialize hash in a weird way? - 2

    在rails源中:https://github.com/rails/rails/blob/master/activesupport/lib/active_support/lazy_load_hooks.rb可以看到以下内容@load_hooks=Hash.new{|h,k|h[k]=[]}在IRB中，它只是初始化一个空哈希。和做有什么区别@load_hooks=Hash.new 最佳答案 查看rubydocumentationforHashnew→new_hashclicktotogglesourcenew(obj)→new_has

  6. ruby-on-rails - 如何从 format.xml 中删除 <hash></hash> - 2

    我有一个对象has_many应呈现为xml的子对象。这不是问题。我的问题是我创建了一个Hash包含此数据，就像解析器需要它一样。但是rails自动将整个文件包含在.........我需要摆脱type="array"和我该如何处理？我没有在文档中找到任何内容。 最佳答案 我遇到了同样的问题；这是我的XML:我在用这个:entries.to_xml将散列数据转换为XML，但这会将条目的数据包装到中所以我修改了:entries.to_xml(root:"Contacts")但这仍然将转换后的XML包装在“联系人”中，将我的XML代码修改为

  7. ruby - 检查 "command"的输出应该包含 NilClass 的意外崩溃 - 2

    为了将Cucumber用于命令行脚本，我按照提供的说明安装了arubagem。它在我的Gemfile中，我可以验证是否安装了正确的版本并且我已经包含了require'aruba/cucumber'在'features/env.rb'中为了确保它能正常工作，我写了以下场景:@announceScenario:Testingcucumber/arubaGivenablankslateThentheoutputfrom"ls-la"shouldcontain"drw"假设事情应该失败。它确实失败了，但失败的原因是错误的:@announceScenario:Testingcucumber/ar

  8. ruby-on-rails - Rails 3.2.1 中 ActionMailer 中的未定义方法 'default_content_type=' - 2

    我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他，以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时，出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer

  9. ruby-on-rails - 如何优雅地重启 thin + nginx？ - 2

    我的瘦服务器配置了nginx，我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例，但找不到好的解决方案。有没有人能做到这一点？ 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器，例如server{listen80;server

  10. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案？ - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

随机推荐