草庐IT

NeuralRecon拜读：单目视频实时连贯三维重建

人工智睿 2023-04-09 原文

CVPR2021：NeuralRecon: Real-Time Coherent 3D Reconstruction from Monocular Video

Code：https://github.com/zju3dv/NeuralRecon

传统基于深度图重建方法：

  • depth map转换为point clouds
  • 估计三维曲面位置并生成重建的网格
    • 在离线MVS pipline中，常使用Poisson reconstruction 和Delaunay triagulation 通常用于实现这一目的。

基于TSDF的深度图融合方法：

  • 估计的深度图使用多视图一致性和时间平滑度等标准进行过滤
  • 融合为TSDF volumes
  • 利用MarchingCubes算法将融合后的TSDF volumes重建mesh

存在的问题：

  • 单视图深度估计scale-factor容易变，不同视图的深度不一致，使得重建分层或者分散
  • 多帧视图重叠区域的冗余重建计算

NeuralRecon的方案：

  • 通过神经网络为每个视频片段直接生成TSDF volumes
  • 然后使用基于gated recurrent units的TSDF融合模块引导网络融合前后片段

这种设计允许网络在顺序重建曲面时捕获3D曲面的局部平滑度先验和全局形状先验，从而实现精确、一致和实时的曲面重建

理论基础：Truncated Signed Distance Function (TSDF) volume

使用稀疏3D卷积预测离散TSDF volume

重建方法的前提：

  • 输入：已知图像和对应的内外参
  • 监督：
    • binary cross-entropy (BCE) loss: ground-truth occupancy values
    • SDF loss: ground-truth SDF values.

关键帧选择：

  • 当新传入帧的相对平移大于 t m a x t_{max} tmax​且相对旋转角大于 R m a x R_{max} Rmax​，则选择该帧作为关键帧
  • 每N个关键帧视为local fragment
  • 基于视图中固定的最大深度范围 d m a x d_{max} dmax​（文中为3m）计算包围所有关键帧视锥体的立方形fragment bounding volume (FBV）
  • 在重建每个fragment时，只考虑FBV内的区域

边重建边融合：

  • 重建local fragment局部的TSDF volumes
  • 使用学习的方法将局部TSDF融入全局TSDF volumes

Feature volume构建：

  • ImageNet预训练的MnasNet_encoder提取feature
  • 各级feature反投影到3D feature volume
  • feature volume按体素可见性权重融合不同视图的feature：
    • 体素可见性权重为local fragment中可以观察到体素的视图数

Coarse-to-fine的TSDF重建，逐步细化各层TSDF

  • 3D sparse convolution（TorchSpase）处理3D feature volume

  • MLP sigmoid预测TSDF截断距离λ的置信度 o o o 和 SDF-value x x x

    • o o o 小于阈值视为空，稀疏化

  • 稀疏化后将TSDF volume上采样并级联下一层的feature

  • 通过GRU Fusion 模块


GRU Fusion模块：
为了保证相邻fragment重建的一致性，以过去fragment为基础

  • 在每一层feature volume通过sparse 3D conv获得3D geometric features
  • 将该3D geometric features与全局volume对应区域融合成当前的参数volume
  • 再将当前参数volume更新回全局volume
  • 当前参数体通过MLP得到当前TSDF volume
  • 更新Global TSDF Volume在最后一层的GRU模块完成

实验用的是有ground truth的室内数据集，效果如下：

连贯拜读quotspanlt

有关NeuralRecon拜读：单目视频实时连贯三维重建的更多相关文章

  1. 动漫制作技巧如何制作动漫视频 - 2

    动漫制作技巧是很多新人想了解的问题，今天小编就来解答与大家分享一下动漫制作流程，为了帮助有兴趣的同学理解，大多数人会选择动漫培训机构，那么今天小编就带大家来看看动漫制作要掌握哪些技巧？一、动漫作品首先完成草图设计和原型制作。设计草图要有目的、有对象、有步骤、要形象、要简单、符合实际。设计图要一致性，以保证制作的顺利进行。二、原型制作是根据设计图纸和制作材料，可以是手绘也可以是3d软件创建。在此步骤中，要注意的问题是色彩和平面布局。三、动漫制作制作完成后，加工成型。完成不同的表现形式后，就要对设计稿进行加工处理，使加工的难易度降低，并得到一些基本准确的概念，以便于后续的大样、准确的尺寸制定。四、

  2. python ffmpeg 使用 pyav 转换 一组图像 到 视频 - 2

    2022/8/4更新支持加入水印水印必须包含透明图像，并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时，是将这组图像视为MJPG流。我需要转换一组PNG图像到视频，FFMPEG就不认了。pyav内置了ffmpeg库，不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p

  3. TimeSformer：抛弃CNN的Transformer视频理解框架 - 2

    Transformers开始在视频识别领域的“猪突猛进”，各种改进和魔改层出不穷。由此作者将开启VideoTransformer系列的讲解，本篇主要介绍了FBAI团队的TimeSformer，这也是第一篇使用纯Transformer结构在视频识别上的文章。如果觉得有用，就请点赞、收藏、关注！paper:https://arxiv.org/abs/2102.05095code(offical):https://github.com/facebookresearch/TimeSformeraccept:ICML2021author:FacebookAI一、前言Transformers(VIT)在图

  4. ruby - 如何更改此正则表达式以从未指定 v 参数的 Youtube URL 获取 Youtube 视频 ID？ - 2

    目前我正在使用这个正则表达式从YoutubeURL中提取视频ID:url.match(/v=([^&]*)/)[1]我怎样才能改变它，以便它也可以从这个没有v参数的YoutubeURL获取视频ID:http://www.youtube.com/user/SHAYTARDS#p/u/9/Xc81AajGUMU感谢阅读。编辑:我正在使用ruby​​1.8.7 最佳答案 对于Ruby1.8.7，这就可以了。url_1='http://www.youtube.com/watch?v=8WVTOUh53QY&feature=feedf'url

  5. (附源码)vue3.0＋.NET6实现聊天室(实时聊天SignalR) - 2

    参考文章搭建文章gitte源码在线体验可以注册两个号来测试演示图：一.整体介绍　　介绍SignalR一种通讯模型Hub(中心模型，或者叫集线器模型)，调用这个模型写好的方法，去发送消息。　　内容有：　　　　①：Hub模型的方法介绍　　　　②：服务器端代码介绍　　　　③：前端vue3安装并调用后端方法　　　　④：聊天室样例整体流程：1、进入网站->调用连接SignalR的方法2、与好友发送消息->调用SignalR的自定义方法 前端通过，signalR内置方法.invoke()  去请求接口3、监听接受方法（渲染消息）通过new signalR.HubConnectionBuilder().on

  6. ruby-on-rails - 在 Rails 应用程序的前端获取实时日志 - 2

    在Rails3.x应用程序中，我正在使用net::ssh并向远程pc运行一些命令。我想向用户的浏览器显示实时日志。比如，如果两个命令在net中运行::ssh执行即echo"Hello",echo"Bye"被传递然后"Hello"应该在执行后立即显示在浏览器中。这是代码我在ruby​​onrails应用程序中使用ssh连接和运行命令Net::SSH.start(@servers['local'],@machine_name,:password=>@machine_pwd,:timeout=>30)do|ssh|ssh.open_channeldo|channel|channel.requ

  7. ruby-on-rails - Ruby on Rails 3 - 公共(public)实时聊天 - 2

    我想使用Rails3创建一个公共(public)实时聊天应用程序。我在rails2上找到了一些例子。任何人都可以告诉你一个很好的例子/教程来使用rails3开发一个实时聊天应用程序。 最佳答案 当我试图在我的Rails3应用程序中实现一个公共(public)和私有(private)聊天系统时，我遇到了几个障碍。我查看了faye、juggernaut、node.js等。最终在尝试了几种方法之后，我能够实现一个运行良好的系统:1)我开始关注Railscast260中的faye消息传递视频指南。正如DevinM所提到的，我能够快速设置一个

  8. 续集来了丨UI自动化测试（二）：带视频，实在RPA高效进行web项目UI自动化测试 - 2

    一、什么是web项目ui自动化测试？通过测试工具模拟人为操控浏览器，使软件按照测试人员的预定计划自动执行测试的一种方式，可以完成许多手工测试无法完成或者不易实现的繁琐工作。正确使用自动化测试，可以更全面的对软件进行测试，从而提高软件质量进而缩短迭代周期。二、构建测试用例的“九部曲”（一）创建流程包划分功能模块日常测试活动中，都会根据功能模块进行拆分，所以在设计器中我们可以通过创建流程包的方式来拆分需要测试的功能模块，如下图中操作创建一个电脑流程包并且取名为对应的功能模块名称，如果有多个功能模块就创建多个对应的流程包，实在RPA设计器有易用的图形可视化界面，方便管理较多的功能模块。（二）在流程包

  9. Java调用ffmpeg处理视频，并记录下遇到的坑 - 2

    目录需求基于JavaCV跨平台执行ffmpeg命令[^1]坑一内存不足坑二多个ffmpeg进程并行导致IO负载大，进而导致ioerror?坑三使用Java操作ffmpeg时，有时会卡死坑四Process的waitFor死锁问题及解决办法需求给透明背景的视频自动叠加一张背景图片基于JavaCV跨平台执行ffmpeg命令1我测试发现的本需求的最小依赖：dependency>groupId>org.bytedecogroupId>artifactId>ffmpeg-platform-gplartifactId>version>5.0-1.5.7version>dependency>核心代码：Stri

  10. 基于python的短视频智能推荐/django的影视网站/视频推荐系统 - 2

    摘要本论文主要论述了如何使用Python技术开发一个短视频智能推荐，本系统将严格按照软件开发流程进行各个阶段的工作，采用B/S架构，面向对象编程思想进行项目开发。在引言中，作者将论述短视频智能推荐的当前背景以及系统开发的目的，后续章节将严格按照软件开发流程，对系统进行各个阶段分析设计。 短视频智能推荐的主要使用者分为管理员和用户，实现功能包括管理员：首页、个人中心、用户管理、热门视频管理、用户上传管理、系统管理，用户：首页、个人中心、用户上传管理、我的收藏管理，前台首页；首页、热门视频、用户上传、公告信息、个人中心、后台管理等功能。由于本网站的功能模块设计比较全面，所以使得整个短视频智能推荐信

随机推荐