监督学习参考吴恩达2022MachineLearning视频教程视频教程：(强推|双字)2022吴恩达机器学习Deeplearning.ai课程机器学习分类监督学习和无监督学习监督学习：回归、分类无监督学习：聚集、异常检测、降维回归问题利用大量的样本，通过有监督的学习，学习到由x到y的映射f，利用该映射关系对未知的数据进行预估，其中y为连续值1.线性回归常用符号说明：拟合函数：利用一个线性函数去拟合数据：\[f_{w,b}(x)=wx+b,其中w,b为参数\]损失函数（lossfunction）利用最小二乘法（最小平方法）计算其损失函数为：\[L(w,b)=\frac{1}{2}(\hat{y
摘要：该论文将同一图像不同视角图像块内的语义一致的图像区域视为正样本对，语义不同的图像区域视为负样本对。本文分享自华为云社区《[NeurIPS2022]基于语义聚合的对比式自监督学习方法》，作者：Hint。1.研究背景近些年来，利用大规模的强标注数据，深度神经网络在物体识别、物体检测和物体分割任务中取得巨大进展。然而，强标注数据耗时又耗力。为此，自监督学习方法提出从大量的无标注数据中学习出高效的特征编码器，然后利用该特征编码器在小规模数据上进行强监督训练，以此达到和在大规模强标注数据上训练的模型相当的性能。基于对比式自监督学习方法的出发点为：从不同视角来观察图像，将来自同一图像的不同视角的图像
摘要：该论文将同一图像不同视角图像块内的语义一致的图像区域视为正样本对，语义不同的图像区域视为负样本对。本文分享自华为云社区《[NeurIPS2022]基于语义聚合的对比式自监督学习方法》，作者：Hint。1.研究背景近些年来，利用大规模的强标注数据，深度神经网络在物体识别、物体检测和物体分割任务中取得巨大进展。然而，强标注数据耗时又耗力。为此，自监督学习方法提出从大量的无标注数据中学习出高效的特征编码器，然后利用该特征编码器在小规模数据上进行强监督训练，以此达到和在大规模强标注数据上训练的模型相当的性能。基于对比式自监督学习方法的出发点为：从不同视角来观察图像，将来自同一图像的不同视角的图像
在前两章中我们已经聊过对抗学习FGM，一致性正则Temporal等方案，主要通过约束模型对细微的样本扰动给出一致性的预测，推动决策边界更加平滑。这一章我们主要针对低密度分离假设，聊聊如何使用未标注数据来推动决策边界向低密度区移动，相关代码实现详见ClassicSolution/enhancement半监督领域有几个相互关联的基础假设Smoothness平滑度假设：两个样本在高密度空间特征相近，则他们的label大概率相同，宏毅老师美其名曰近朱者赤近墨者黑。这里的高密度比较难理解，感觉可以近似理解为DBSCAN中的密度可达Cluster聚类假设：高维特征空间中，同一个簇的样本应该有相同的labe
在前两章中我们已经聊过对抗学习FGM，一致性正则Temporal等方案，主要通过约束模型对细微的样本扰动给出一致性的预测，推动决策边界更加平滑。这一章我们主要针对低密度分离假设，聊聊如何使用未标注数据来推动决策边界向低密度区移动，相关代码实现详见ClassicSolution/enhancement半监督领域有几个相互关联的基础假设Smoothness平滑度假设：两个样本在高密度空间特征相近，则他们的label大概率相同，宏毅老师美其名曰近朱者赤近墨者黑。这里的高密度比较难理解，感觉可以近似理解为DBSCAN中的密度可达Cluster聚类假设：高维特征空间中，同一个簇的样本应该有相同的labe
1、BERT简介首先需要介绍什么是自监督学习。我们知道监督学习是有明确的样本和对应的标签，将样本丢进去模型训练并且将训练结果将标签进行比较来修正模型，如下图：而自监督学习就是没有标签也要自己创建监督学习的条件，即当前只有样本x但是没有标签\(\hat{y}\)，那具体的做法就是将样本x分成两部分\(x\prime\)和\(x\prime\prime\)，其中一部分作为输入模型的样本，另一部分来作为标签：如果觉得很抽象也没关系，请继续往下阅读将会逐渐清晰这个定义。1.1、BERT的maskingBERT的架构可以简单地看成跟Transformer中的Encoder的架构是相同的（可以参考我这篇文
1、BERT简介首先需要介绍什么是自监督学习。我们知道监督学习是有明确的样本和对应的标签，将样本丢进去模型训练并且将训练结果将标签进行比较来修正模型，如下图：而自监督学习就是没有标签也要自己创建监督学习的条件，即当前只有样本x但是没有标签\(\hat{y}\)，那具体的做法就是将样本x分成两部分\(x\prime\)和\(x\prime\prime\)，其中一部分作为输入模型的样本，另一部分来作为标签：如果觉得很抽象也没关系，请继续往下阅读将会逐渐清晰这个定义。1.1、BERT的maskingBERT的架构可以简单地看成跟Transformer中的Encoder的架构是相同的（可以参考我这篇文
摘要：本文提出了一种针对文字识别的多模态半监督方法，具体来说，作者首先使用teacher-student网络进行半监督学习，然后在视觉、语义以及视觉和语义的融合特征上，都进行了一致性约束。本文分享自华为云社区《一种针对文字识别的多模态半监督方法》，作者：Hint。摘要直到最近，公开的真实场景文本图像的数量仍然不足以训练场景文本识别器。因此，当前大多数的训练方法都依赖于合成数据并以全监督的方式运行。然而，最近公开的真实场景文本图像的数量显着增加，包括大量未标记的数据。利用这些资源需要半监督方法；然而，这些方法不能直接适配文字识别这类视觉语言的多模态结构。因此，本文提出了半监督多模态文本识别器（S
摘要：本文提出了一种针对文字识别的多模态半监督方法，具体来说，作者首先使用teacher-student网络进行半监督学习，然后在视觉、语义以及视觉和语义的融合特征上，都进行了一致性约束。本文分享自华为云社区《一种针对文字识别的多模态半监督方法》，作者：Hint。摘要直到最近，公开的真实场景文本图像的数量仍然不足以训练场景文本识别器。因此，当前大多数的训练方法都依赖于合成数据并以全监督的方式运行。然而，最近公开的真实场景文本图像的数量显着增加，包括大量未标记的数据。利用这些资源需要半监督方法；然而，这些方法不能直接适配文字识别这类视觉语言的多模态结构。因此，本文提出了半监督多模态文本识别器（S
在前面的几个章节中，我们介绍了几种基于不同半监督假设的模型优化方案，包括MeanTeacher等一致性正则约束，FGM等对抗训练，minEntropy等最小熵原则，以及Mixup等增强方案。虽然出发点不同但上述优化方案都从不同的方向服务于半监督的3个假设，让我们重新回顾下(哈哈自己抄袭自己)：moothness平滑度假设：近朱者赤近墨者黑，两个样本在高密度空间特征相近，则label应该一致。优化方案如Mixup，一致性正则和对抗学习Cluster聚类假设：高维特征空间中，同一个簇的样本应该有相同的label，这个强假设其实是Smoothness的特例Low-densitySeparation低
