草庐IT

[论文笔记] SODA小目标综述(西工大)

吉他A梦 2023-04-08 原文

SODA小目标综述(西工大)

Towards Large-Scale Small Object Detection:Survey and Benchmarks

论文链接:论文链接
主页链接:主页链接

这篇文章需要后续跟踪一下,可能有一些数据集SODA-A和SODA-D等等发布

动机

  • 从小物体的有限和扭曲的信息中学习正确特征表示本来就很困难。解决的办法有如下6种:data-manipulation methods, scale-aware methods, feature-fusion methods, super-resolution methods, context-modeling methods, other approaches
  • 小目标检测缺乏大规模的数据集。因此提出了两个数据集SODA-A(航拍图片)和 SODA-D(交通图片)

1、小目标检测难点

  • 信息丢失。下采样会导致小目标的信息产生大量的丢失。(检测小目标的时候能不能不进行下采样,或者我能够在原图上提取出小目标的区域来减少计算量吗?
  • 噪声特征。小目标的特征很容易被背景、其他物体的特征污染。
  • 边界框扰动容限低。(用一种新的IoU评价规则来处理小目标可以吗,不然小目标的mAP和大目标的mAP不公平

2、小目标检测算法

数据增强(Data-manipulation methods)

  • 不同尺度的目标之间的数量差异巨大,一般小目标的数量都比较少,因此一个直观的方法是使用数据增强的方法来增加小目标的数量
  • 但是这样的方法也有弊端,就是它们的效果取决于数据集,而不具有通用性、迁移性。(能不能和 跨域检测 牵扯上关系
  • 基于过采样的增强策略(Oversampling-based augmentation strategy):例如Mosaic这样的方法、复制一个小物体并将其随机变换粘贴到相同图像的不同位置上

  • 自动增强方案(Automatic augmentation scheme):将一些数据增强的方法进行组合使用

多尺度(Scale-aware methods)

不同level的特征图负责进行不同尺度的物体的检测

  • 以 分而治之 的方式进行多尺度检测(Multi-scale detection in a divide-and-conquer fashion):不同level的特征只负责检测相应尺度的物体
  • 针对小目标检测的定制方法(Tailored training schemes)

特征融合(Feature-fusion methods)

  • 不同level的特征图不能同时拥有语义信息和空间信息,因此使用特征融合来让一个特征图同时拥有这两种信息;
  • 问题是,我们不仅要赋予浅层特征更多的语义,而且要防止小物体的原始响应被更深层特征掩盖,这是一个dilemma
  • 自上而下的信息融合(Top-down information interaction):用自上而下的路径来进行浅层和深层特征的融合(将深层特征图融合到浅层特征图当中去),使高分辨率特征图同时具有丰富的语义特征和小物体的空间特征。
  • 细化的特征融合(Refined feature fusion):top-down方法一般采用简单的上采样来进行融合,无法处理内在的尺度层面的不一致。因此可以使用例如反卷积等可学习的方法来优化特征融合的过程

超分辨率(Super-resolution methods)

  • 传统方法放大图片使用基于插值的方法,它是一种局部操作,无法捕捉全局信息并且会有马赛克效应,同时它们的外观等信息也会在放大的过程中保持扭曲和模糊,不会得到优化
  • 现在有些方法采用生成对抗网络(GAN)来计算有利于小目标检测的高质量表示,而还有方法则选择参数化上采样操作来放大特征
  • 可学习上采样(Learning-based upscaling):例如使用反卷积进行上采样
  • 基于GAN的超分辨率框架(GAN-based super-resolution frameworks):直接对RoI进行超分辨率;但是容易丢失context信息

上下文建模(Context-modeling methods)

是不是有助于遮挡目标检测,例如x-ray,小目标检测和遮挡目标检测进行融合?

  • 当前的上下文建模机制以启发式和经验的方式确定上下文区域,这不能保证构建的表示具有足够的可解释性以进行检测(能不能把context-modeling变成一个可以学习的过程

其他方法(Others)

  • 基于注意力的方法(Attention-based methods):需要看一下相关的论文
  • 本地化驱动的优化(Localization-driven optimization):检测器回归分支的目标是IoU,但是对于小目标来说,IoU并不是一个很好的方法
  • 密度分析引导的检测(Density analysis guided detection):小目标一般在图片中的位置比较多且分散,我们可以抽离出包含目标的区域然后再进行检测。
  • 其他方法(Other issues)

3、小目标检测数据集

4、基准(Benchmark)











5、实验





有关[论文笔记] SODA小目标综述(西工大)的更多相关文章

  1. LC滤波器设计学习笔记(一)滤波电路入门 - 2

    目录前言滤波电路科普主要分类实际情况单位的概念常用评价参数函数型滤波器简单分析滤波电路构成低通滤波器RC低通滤波器RL低通滤波器高通滤波器RC高通滤波器RL高通滤波器部分摘自《LC滤波器设计与制作》,侵权删。前言最近需要学习放大电路和滤波电路,但是由于只在之前做音乐频谱分析仪的时候简单了解过一点点运放,所以也是相当从零开始学习了。滤波电路科普主要分类滤波器:主要是从不同频率的成分中提取出特定频率的信号。有源滤波器:由RC元件与运算放大器组成的滤波器。可滤除某一次或多次谐波,最普通易于采用的无源滤波器结构是将电感与电容串联,可对主要次谐波(3、5、7)构成低阻抗旁路。无源滤波器:无源滤波器,又称

  2. Unity Shader 学习笔记(5)Shader变体、Shader属性定义技巧、自定义材质面板 - 2

    写在之前Shader变体、Shader属性定义技巧、自定义材质面板,这三个知识点任何一个单拿出来都是一套知识体系,不能一概而论,本文章目的在于将学习和实际工作中遇见的问题进行总结,类似于网络笔记之用,方便后续回顾查看,如有以偏概全、不祥不尽之处,还望海涵。1、Shader变体先看一段代码......Properties{ [KeywordEnum(on,off)]USL_USE_COL("IsUseColorMixTex?",int)=0 [Toggle(IS_RED_ON)]_IsRed("IsRed?",int)=0}......//中间省略,后续会有完整代码 #pragmamulti_c

  3. Tcl脚本入门笔记详解(一) - 2

    TCL脚本语言简介•TCL(ToolCommandLanguage)是一种解释执行的脚本语言(ScriptingLanguage),它提供了通用的编程能力:支持变量、过程和控制结构;同时TCL还拥有一个功能强大的固有的核心命令集。TCL经常被用于快速原型开发,脚本编程,GUI和测试等方面。•实际上包含了两个部分:一个语言和一个库。首先,Tcl是一种简单的脚本语言,主要使用于发布命令给一些互交程序如文本编辑器、调试器和shell。由于TCL的解释器是用C\C++语言的过程库实现的,因此在某种意义上我们又可以把TCL看作C库,这个库中有丰富的用于扩展TCL命令的C\C++过程和函数,所以,Tcl是

  4. 计算机网络笔记:TCP三次握手和四次挥手过程 - 2

    TCP是面向连接的协议,连接的建立和释放是每一次面向连接的通信中必不可少的过程。TCP连接的管理就是使连接的建立和释放都能正常地进行。三次握手TCP连接的建立—三次握手建立TCP连接①若主机A中运行了一个客户进程,当它需要主机B的服务时,就发起TCP连接请求,并在所发送的分段中用SYN=1表示连接请求,并产生一个随机发送序号x,如果连接成功,A将以x作为其发送序号的初始值:seq=x。主机B收到A的连接请求报文,就完成了第一次握手。客户端发送SYN=1表示连接请求客户端发送一个随机发送序号x,如果连接成功,A将以x作为其发送序号的初始值:seq=x②主机B如果同意建立连接,则向主机A发送确认报

  5. 论文解读OTA: Optimal Transport Assignment for Object Detection - 2

    CSDN优秀解读:https://blog.csdn.net/jiaoyangwm/article/details/1266387752021https://arxiv.org/pdf/2103.14259.pdf关键解读在目标检测中标签分配的最新进展主要寻求为每个GT对象独立定义正/负训练样本。在本文中,我们创新性地从全局的角度重新审视标签分配,并提出将分配程序制定为一个最优传输(OT)问题——优化理论中一个被充分研究的课题。具体来说,我们将每个需求方(锚框)和供应商(GT标签)的单位传输成本定义为他们的分类和回归损失加权之和。在公式化后,找到最好的分配方案即为最小传播成本解决最优传输方案,

  6. 华为数通笔记VXLAN&BGP EVPN - 2

    VXLAN简介定义RFC定义了VLAN扩展方案VXLAN(VirtualeXtensibleLocalAreaNetwork,虚拟扩展局域网)。VXLAN采用MACinUDP(UserDatagramProtocol)封装方式,是NVO3(NetworkVirtualizationoverLayer3)中的一种网络虚拟化技术。目的随着网络技术的发展,云计算凭借其在系统利用率高、人力/管理成本低、灵活性/可扩展性强等方面表现出的优势,已经成为目前企业IT建设的新趋势。而服务器虚拟化作为云计算的核心技术之一,得到了越来越多的应用。服务器虚拟化技术的广泛部署,极大地增加了数据中心的计算密度;同时,为

  7. [蓝桥杯单片机]学习笔记——串口通信的基本原理与应用 - 2

    目录一、原理部分1、什么是串行通信(1)并行通信与串行通信(2)串行通信的制式(3)串行通信的主要方式  2、配置串口(1)SCON和PCON:串行口1的控制寄存器(2)SBUF:串行口数据缓冲寄存器 (3)AUXR:辅助寄存器​编辑(4)ES、PS:与串行口1中断相关的寄存器(5)波特率设置  3、串口框架编写二、程序案例一、原理部分1、什么是串行通信(1)并行通信与串行通信微控制器与外部设备的数据通信,根据连线结构和传送方式的不同,可以分为两种:并行通信和串行通信。并行通信:数据的各位同时发送与接收,每个数据位使用一条导线,这种方式传输快,但是需要多条导线进行信号传输。串行通信:数据一位一

  8. 【微服务笔记23】使用Spring Cloud微服务组件从0到1搭建一个微服务工程 - 2

    这篇文章,主要介绍如何使用SpringCloud微服务组件从0到1搭建一个微服务工程。目录一、从0到1搭建微服务工程1.1、基础环境说明(1)使用组件(2)微服务依赖1.2、搭建注册中心(1)引入依赖(2)配置文件(3)启动类1.3、搭建配置中心(1)引入依赖(2)配置文件(3)启动类1.4、搭建API网关(1)引入依赖(2)配置文件(3)启动类1.5、搭建服务提供者(1)引入依赖(2)配置文件(3)启动类1.6、搭建服务消费者(1)引入依赖(2)配置文件(3)启动类1.7、运行测试一、从0到1搭建微服务工程1.1、基础环境说明(1)使用组件这里主要是使用的SpringCloudNetflix

  9. Two-Stream Convolutional Networks for Action Recognition in Videos双流网络论文精读 - 2

    Two-StreamConvolutionalNetworksforActionRecognitioninVideos双流网络论文精读论文:Two-StreamConvolutionalNetworksforActionRecognitioninVideos链接:https://arxiv.org/abs/1406.2199本文是深度学习应用在视频分类领域的开山之作,双流网络的意思就是使用了两个卷积神经网络,一个是SpatialstreamConvNet,一个是TemporalstreamConvNet。此前的研究者在将卷积神经网络直接应用在视频分类中时,效果并不好。作者认为可能是因为卷积神经

  10. 科研中论文常见数学符号及其含义(科研必备,建议收藏) - 2

    论文常见数学符号及其含义(科研必备)返回论文和资料目录数学符号在数学领域是非常重要的。在论文中,使用数学符号可以使得论文更加简洁明了,同时也能够准确地描述各种概念和理论。在本篇博客中,我将介绍一些常见的数学符号及其含义(省去特别简单的符号),希望能够帮助读者更好地理解数学论文。高等数学∑i=1nxi\sum_{i=1}^nx_i∑i=1n​xi​(求和符号):表示将x1,x2,…,xnx_1,x_2,\dots,x_nx1​,x2​,…,xn​中的所有数相加,例如∑i=1nxi\sum_{i=1}^nx_i∑i=1n​xi​表示将x1,x2,…,xnx_1,x_2,\dots,x_nx1​,x

随机推荐