草庐IT

基于虚拟类别的小样本增量学习Semantic-Aware Virtual Contrastive Constraint 论文笔记 CVPR2023

CVPR2023论文地址:https://arxiv.org/abs/2304.00426v1代码地址:https://github.com/zysong0113/SAVC关键词Few-shotclass-incrementallearning(FSCIL):分类增量学习中的少样本情况问题。Baseclassseparation:基类间分离度的重要性。Semantic-awarevirtualcontrastivelearning:语义感知虚拟对比学习方法。Fantasyspace:通过虚拟类定义的“梦幻空间”。Virtualclass:定义转换后的虚拟类。Multi-viewinferenc

ICLR 2023杰出论文奖得主分享:适配任意密集预测任务的通用小样本学习器

国际学习表征会议ICLR(InternationalConferenceonLearningRepresentations),被公认为当前最具影响力的机器学习国际学术会议之一。在今年的ICLR2023大会上,微软亚洲研究院发表了在机器学习鲁棒性、负责任的人工智能等领域的最新研究成果。其中,微软亚洲研究院与韩国科学技术院(KAIST)在双方学术合作框架下的科研合作成果,因出色的清晰性、洞察力、创造力和潜在的持久影响获评ICLR2023杰出论文奖。论文地址:https://arxiv.org/abs/2303.14969VTM:首个适配所有密集预测任务的小样本学习器密集预测任务是计算机视觉领域的一

小样本学习

机器学习就是从数据中学习,从而使完成任务的表现越来越好。小样本学习是具有有限监督数据的机器学习。类似的,其他的机器学习定义也都是在机器学习定义的基础上加上不同的限制条件衍生出来。例如,弱监督学习是强调在不完整、不准确、有噪声、数据少的数据上学习,半监督学习是强调在少量标注数据和大量非标注数据上学习,迁移学习是把充足数据上学习的知识迁移到数据匮乏的任务上。所谓小样本是训练数据较少,小样本学习的先验知识来自三方面:数据、模型、算法,小样本学习的研究也都是从这三方面着手。因此,小样本学习方法大致可分为基于数据增强的方法、基于模型改进的方法、基于算法优化的方法。当把few-shotlearning运用

小样本图像目标检测研究综述——张振伟论文阅读

小样本图像目标检测研究综述——张振伟(计算机工程与应用2022)论文阅读目前,小样本图像目标检测方法多基于经典的俩阶段目标检测算法FasterR-CNN作为主干网络,当然也有将YOLO,SSD一阶段目标检测算法作为主干网络的。检测过程中不仅需要提取分类任务所关注的高层语义信息,还要获取低层级像素级信息实现目标的定位。1、方法分类1.2.1基于度量学习方法基于度量学习的方法是在获取潜在目标区域特征的前提下,将目标区域特征和支持图像特征转换到相同的嵌入空间,通过计算距离或者相似度对潜在的目标区域进行分类,进而实现对图像中不同目标的检测。==基于度量学习的方法另一个研究的重点是损失函数设计。一个有效

模型精度再被提升,统一跨任务小样本学习算法 UPT 给出解法!

近日,阿里云机器学习平台PAI与华东师范大学高明教授团队、达摩院机器智能技术NLP团队合作在自然语言处理顶级会议EMNLP2022上发表统一多NLP任务的预训练增强小样本学习算法UPT(UnifiedPromptTuning)。这是一种面向多种NLP任务的小样本学习算法,致力于利用多任务学习和预训练增强技术,在仅需要标注极少训练数据的情况下,提升大规模预训练语言模型在多种场景下的模型精度。论文:JianingWang,ChengyuWang,FuliLuo,ChuanqiTan,MinghuiQiu,FeiYang,QiuhuiShi,SongfangHuang,MingGao.Towards

小样本目标检测综述__刘浩宇(导航与控制2021)论文阅读

小样本目标检测综述__刘浩宇(导航与控制2021)阅读0、引言早期采用了大量标注样本回归候选框的位置,但后来目标集和训练集数据分布不同导致检测效果下降。对于没有大量样本支持的小样本检测应用就需要使用先验知识来弥补样本的不足。可以分为三类:数据域通过先验知识来做数据增强,以弥补样本不足的问题,解决模型不收敛问题。模型域通过先验知识来限制模型复杂度,降低假设空间的大小,使得模型收敛加快。算法域通过先验知识来提供一个更快捷的搜索策略。1、小样本目标检测的数学模型1.1目标检测应用的数学模型1.2目标检测应用的误差实理际论数学理论解释、定义这个任务部分!看原论文。2数据域的解决方案2.1转化原有数据集

小样本(少样本)目标检测概述(few-shot object detection)

文章目录一、小样本目标检测vs少样本目标检测二、小样本目标检测简介三、小样本目标检测的方法四、小样本目标检测现有的问题五、参考资料一、小样本目标检测vs少样本目标检测首先必须要分辨这两个概念。如果光看名字,我们可能会单纯的认为小样本就是代检测目标区域比较小,难以检测;少样本就是训练样本数量较少,难以训练。上面的理解其实是错的。看网上大部分的文章、博客、论文,小样本和少样本是等价的。所谓小样本并非是目标较小,而是训练数据较少。看英文名字就会更加直白,小样本/少样本目标检测一般翻译为few-shotobjectdetection,显然few-shot指的是数量少。同理还有one-shot、zero

小样本(少样本)目标检测概述(few-shot object detection)

文章目录一、小样本目标检测vs少样本目标检测二、小样本目标检测简介三、小样本目标检测的方法四、小样本目标检测现有的问题五、参考资料一、小样本目标检测vs少样本目标检测首先必须要分辨这两个概念。如果光看名字,我们可能会单纯的认为小样本就是代检测目标区域比较小,难以检测;少样本就是训练样本数量较少,难以训练。上面的理解其实是错的。看网上大部分的文章、博客、论文,小样本和少样本是等价的。所谓小样本并非是目标较小,而是训练数据较少。看英文名字就会更加直白,小样本/少样本目标检测一般翻译为few-shotobjectdetection,显然few-shot指的是数量少。同理还有one-shot、zero

小样本利器3. 半监督最小熵正则 MinEnt & PseudoLabel代码实现

在前两章中我们已经聊过对抗学习FGM,一致性正则Temporal等方案,主要通过约束模型对细微的样本扰动给出一致性的预测,推动决策边界更加平滑。这一章我们主要针对低密度分离假设,聊聊如何使用未标注数据来推动决策边界向低密度区移动,相关代码实现详见ClassicSolution/enhancement半监督领域有几个相互关联的基础假设Smoothness平滑度假设:两个样本在高密度空间特征相近,则他们的label大概率相同,宏毅老师美其名曰近朱者赤近墨者黑。这里的高密度比较难理解,感觉可以近似理解为DBSCAN中的密度可达Cluster聚类假设:高维特征空间中,同一个簇的样本应该有相同的labe

小样本利器3. 半监督最小熵正则 MinEnt & PseudoLabel代码实现

在前两章中我们已经聊过对抗学习FGM,一致性正则Temporal等方案,主要通过约束模型对细微的样本扰动给出一致性的预测,推动决策边界更加平滑。这一章我们主要针对低密度分离假设,聊聊如何使用未标注数据来推动决策边界向低密度区移动,相关代码实现详见ClassicSolution/enhancement半监督领域有几个相互关联的基础假设Smoothness平滑度假设:两个样本在高密度空间特征相近,则他们的label大概率相同,宏毅老师美其名曰近朱者赤近墨者黑。这里的高密度比较难理解,感觉可以近似理解为DBSCAN中的密度可达Cluster聚类假设:高维特征空间中,同一个簇的样本应该有相同的labe