草庐IT

【入门向】光流法(optical flow)基本原理+深度学习中的应用【FlowNet】【RAFT】

目录1.理论背景1.1光流1.2光流场2.基本原理2.1假设条件2.2约束方程3.光流估计方法3.1思路概述3.2优缺点对比4.稠密光流和稀疏光流4.1稠密光流4.2稀疏光流4.3优缺点对比5.光流法在深度学习中的应用5.1FlowNet5.1.1FlowNetS编码器5.1.2FlowNetCorr编码器5.1.3FlowNetS和FlowNetCorr解码器5.2RAFT5.2.1特征提取5.2.2视觉相似性计算5.2.3迭代更新5.3RAFT和RAFT-S的区别1.理论背景1.1光流光流(opticalflow)是空间运动物体在成像平面上的像素运动的瞬时速度。通常将一个描述点的瞬时速度的

光流估计(二) FlowNet 系列文章解读

    在上篇文章中,我们学习并解了光流(OpticalFlow)的一些基本概念和基本操作,但是传统的光流估计方法计算比较复杂、成本较高。近些年来随着CNN卷积神经网络的不断发展和成熟,其在各种计算机视觉任务中取得了巨大成功(多用于识别相关任务)。于是,将光流估计与CNN深度学习相结合提出了FlowNet系列文章,首次将CNN运用到光流预测上,使网络能从一对图片中预测光流场,每秒达到5到10帧率,并且准确率也达到了业界标准。一.FlowNet        FlowNet(或称为FlowNet1.0)是FlowNet系列所提出的第一个光流估计网络,也是最重要最基础的网络,其思想来自于论文《Fl

光流估计(二) FlowNet 系列文章解读

    在上篇文章中,我们学习并解了光流(OpticalFlow)的一些基本概念和基本操作,但是传统的光流估计方法计算比较复杂、成本较高。近些年来随着CNN卷积神经网络的不断发展和成熟,其在各种计算机视觉任务中取得了巨大成功(多用于识别相关任务)。于是,将光流估计与CNN深度学习相结合提出了FlowNet系列文章,首次将CNN运用到光流预测上,使网络能从一对图片中预测光流场,每秒达到5到10帧率,并且准确率也达到了业界标准。一.FlowNet        FlowNet(或称为FlowNet1.0)是FlowNet系列所提出的第一个光流估计网络,也是最重要最基础的网络,其思想来自于论文《Fl