草庐IT

FSVOS个人理解

m0_47435744 2023-09-26 原文

研一新人,理解有误,望大佬指点

文章题目:

Fast target-aware learning for few-shot video object
segmentation

来源:sci

FSVOS论文总结

整合了元知识模型和目标模型

用多个任务来训练元知识模型(离线)

数据流向:每一帧图像先进入元知识模型,再进入目标模型,最后再通过元知识模型来输出分割结果

元知识模型中

首先给出了第一帧的分割结果和分割图像 以及后续的帧

然后第一帧图像和后续帧通过Backbone提取特征(降维,让每个像素点更能表示特征)进入嵌入空间,此时图像变为嵌入空间中的像素点

之后再通过masksharp将分割结果上采样还原至原始图片大小。

元知识模型的作用:1.提取特征 2.将分割结果上采样还原

目标模型

生成性学习模型

首先将Support set的图像提取特征进入嵌入空间,然后对支持集图像特征使用聚类算法

F (x |ω)表示像素x的嵌入特征,x^代表支持集的像素点

聚类中心为

所以支持集的作用为构成k个聚类中心,且这k个类属于同一个目标

文章中又给了一个任意像素分配给某个聚类中心的公式

所以可以将测试集图像当中的每个像素都划分给这k个聚类中心,每个像素点都可以得到k个概率值

将所有像素到一个聚类中心的映射记为一个通道,于是有k个通道,将这k个通道的映射记为Mt

至此,给测试帧中每个像素都赋予了k个值,分别表示为分配给目标对象的k个特征聚类的概率

区分性学习

这里需要参考文章Learning Fast and Robust Target Models for Video Object Segmentation(FRTM    CVPR2020)

该文章中提出了一个目标模型,由两个卷积层组成的轻量级线性模型,可提高效率

输入后续视频帧的特征图x,然后输出粗分割分数s

x代表特征,w代表参数。

W1用于特征降维

W2用于计算实际的分割分数

这里将损失函数定义为

λj控制正则化项,而vk是平衡目标和背景像素影响的权重掩码。yk表示标签,xk表示特征图,U表示从目标模型到标签yk的空间分辨率的输出的双线性上采样

而FSVOS中给出的损失函数为

按照对应关系

应该代表后续帧像素的标签

Yt表示像素空间中像素对应的标签

去掉不同模块之后的训练得分

  1. k的值对准确度的影响
  2. δ表示更新的时间间隔(以帧为单位)
  3. 再时间间隔内,只有时,会更新字典。

d)如果指定标签的预测概率低于阈值β,在最小化过程中丢弃像素

平衡速度和准确度

质量评估

优点:可以很轻松的捕捉变化,被遮挡的对象

缺点:当相似的目标接近时,很难将其分开,原因是当外形相似时,嵌入空间会相似,可以用局部匹配技术解决

有关FSVOS个人理解的更多相关文章

  1. CAN协议的学习与理解 - 2

    最近在学习CAN,记录一下,也供大家参考交流。推荐几个我觉得很好的CAN学习,本文也是在看了他们的好文之后做的笔记首先是瑞萨的CAN入门,真的通透;秀!靠这篇我竟然2天理解了CAN协议!实战STM32F4CAN!原文链接:https://blog.csdn.net/XiaoXiaoPengBo/article/details/116206252CAN详解(小白教程)原文链接:https://blog.csdn.net/xwwwj/article/details/105372234一篇易懂的CAN通讯协议指南1一篇易懂的CAN通讯协议指南1-知乎(zhihu.com)视频推荐CAN总线个人知识总

  2. TimeSformer:抛弃CNN的Transformer视频理解框架 - 2

    Transformers开始在视频识别领域的“猪突猛进”,各种改进和魔改层出不穷。由此作者将开启VideoTransformer系列的讲解,本篇主要介绍了FBAI团队的TimeSformer,这也是第一篇使用纯Transformer结构在视频识别上的文章。如果觉得有用,就请点赞、收藏、关注!paper:https://arxiv.org/abs/2102.05095code(offical):https://github.com/facebookresearch/TimeSformeraccept:ICML2021author:FacebookAI一、前言Transformers(VIT)在图

  3. ruby - 易于初学者理解的 Ruby 库 - 2

    关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题,以便用事实和引用来回答。关闭3年前。Improvethisquestion我正处于学习Ruby的阶段,我想查看一些小型库的源代码以了解它们是如何构建的。我不知道什么是小型图书馆,但希望SO能推荐一些易于理解的图书馆来学习。因此,如果有人知道一两个非常小的库,这是新手Rubyists学习的好例子,请推荐!我想使用Manveru'sInnatelib,因为它试图保持在2000LOC以下,但我还不熟悉其中经常使用的Ruby速记。也许大约100-5

  4. ruby - 无法理解 `puts{}.class` 和 `puts({}.class)` 之间的区别 - 2

    由于匿名block和散列block看起来大致相同。我正在玩它。我做了一些严肃的观察,如下所示:{}.class#=>Hash好的,这很酷。空block被视为Hash。print{}.class#=>NilClassputs{}.class#=>NilClass为什么上面的代码和NilClass一样,下面的代码又显示了Hash?puts({}.class)#Hash#=>nilprint({}.class)#Hash=>nil谁能帮我理解上面发生了什么?我完全不同意@Lindydancer的观点你如何解释下面几行:print{}.class#NilClassprint[].class#A

  5. ruby - 如何理解 Ruby 中的发送者和接收者? - 2

    我很难理解Ruby中sender和receiver的实际含义。它们一般是什么意思?到目前为止,我只是将它们理解为方法调用和获取其返回值的调用。但是,我知道我的理解还远远不够。谁能给我一个Ruby中发送者和接收者的具体解释? 最佳答案 面向对象中的一个核心概念是消息传递和早期概念化,这在很大程度上借鉴了计算的Actor模型。艾伦·凯(AlanKay)创造了面向对象一词并发明了最早的OO语言之一SmallTalk,他拥有voicedregretatusingatermwhichputthefocusonobjectsinsteadofo

  6. ruby-on-rails - Rails - 理解 application.js 和 application.css - 2

    rails新手。只是想了解\assests目录中的这两个文件。例如,application.js文件有如下行://=requirejquery//=requirejquery_ujs//=require_tree.我理解require_tree。只是将所有JS文件添加到当前目录中。根据上下文,我可以看出requirejquery添加了jQuery库。但是它从哪里得到这些jQuery库呢?我没有在我的Assets文件夹中看到任何jquery.js文件——或者直接在我的整个应用程序中没有看到任何jquery.js文件?同样,我正在按照一些说明安装TwitterBootstrap(http:

  7. ruby - 你如何理解 Ruby 中的这个三元条件? - 2

    我在某些代码中遇到了三元组,但我无法理解条件:str.split(/',\s*'/).mapdo|match|match[0]==?,?match:"somestring"end.join我确实理解我是在某些点上拆分字符串并将总结果转换为数组,然后依次处理数组的每个元素。除此之外,我不知道发生了什么。 最佳答案 一种(稍微)不那么令人困惑的写法是:str.split(/',\s*'/).mapdo|match|ifmatch[0]==?,matchelse"somestring"endend.join我认为多行三元语句很糟糕,尤其是

  8. ruby - 您如何将 S3 理解为 Ruby 中的分层目录结构? - 2

    有没有人成功地将S3存储桶读取为子文件夹?文件夹1--子文件夹2----文件3----文件4--文件1--文件2文件夹2--子文件夹3--文件5--文件6我的任务是读取文件夹1。我希望看到子文件夹2、文件1和文件2,但看不到文件3或文件4。现在,因为我将存储桶键限制为prefix=>'folder1/',你仍然会得到file3和4,因为它们在技术上具有folder1前缀。似乎真正做到这一点的唯一方法是吸收folder1下的所有键,然后使用字符串搜索从结果数组中实际排除file3和file4。有没有人有过这方面的经验?我知道像Transmit和Cyber​​duck这样的FTP风格的S3

  9. 关于yolov5训练时参数workers和batch-size的理解 - 2

    关于yolov5训练时参数workers和batch-size的理解yolov5训练命令workers和batch-size参数的理解两个参数的调优总结yolov5训练命令python.\train.py--datamy.yaml--workers8--batch-size32--epochs100yolov5的训练很简单,下载好仓库,装好依赖后,只需自定义一下data目录中的yaml文件就可以了。这里我使用自定义的my.yaml文件,里面就是定义数据集位置和训练种类数和名字。workers和batch-size参数的理解一般训练主要需要调整的参数是这两个:workers指数据装载时cpu所使

  10. ruby - 无法理解 Grape API 路由参数 - 2

    我在理解GrapeAPI时遇到很多困难,特别是route_param以及它如何仅使用params。考虑这段代码:desc"Returnastatus."paramsdorequires:id,type:Integer,desc:"Statusid."endroute_param:iddogetdoStatus.find(param[:id])endend这个街区产生什么路线?我知道这是一个get请求,但为什么它被包裹在route_paramblock中?为什么它不能在paramsblock中? 最佳答案 你的block产生这条路线:

随机推荐