草庐IT

3D点云深度学习-浅谈点云分割

七小琦 2023-04-03 原文

先说一点题外话

研究生三年,开始学了一年的图像检测,还没学明白,然后实验室都开始做点云,就转到点云方向做了两年,没什么大成就,因为感觉我学了两年时间刚刚入门,而且大多数的学习都是跑跑现成的代码,有一些结果就算有输出了,还没有真正的自己改的大网络或者写一整套代码,但是长期下来对这个方向也算是有点熟悉了。现在毕业了,没机会再做这个方向了,就按照自己了解的接触路线为一些刚接触的同学们介绍一下吧,说的也不一定都对,但是有空我就来整理补充一下。

背景

1.点云是什么?
官方解释:点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合。
实际上:点云是一组三维点(x,y,z)的集合。
2.深度学习是什么?
不知道,就是各种卷,跟上班一样,卷就完了。
3.点云深度学习的难点在哪里?
其实在图像中深度学习已经取得了很好的效果了,商用的模型随处可见,而点云最大的难点就是怎么解决点云的无序性问题,就是同一个物体的那么多点排列顺序不同,所得到的效果应该是相同的,目前都在想怎么更好的解决这个问题,当然,点云里面还有遮挡,嘈杂点等等因素的困难。
4.为什么点云深度学习最近比较火?
一方面是深度学习目前的学习能力比较强,另一方面,3D传感器发展的很多,更加接近真实世界,而且近期出现了很多3D应用,可能再有就是电云可能相对容易发论文一些吧,哈哈哈~
5.点云深度学习领域包括哪些领域的学习?
图像卷积神经网络、数据处理、可视化、TF/Torch框架
6.点云的研究方向有哪些?
点云检测、点云分割、点云识别、点云补全、点云数据增强、点云数据集制作及Benchmark

点云数据集

深度学习任务一定少不了数据集,模型需要大量的训练样本,当然也可以用深度相机或者激光雷达实时采集处理,那是模型训练好以后的应用层面了吧,因为参与过一个数据集综述文章的编写,所以数据集接触的多一些,点云领域的数据集各式各样吧,应为大家的采集设备不同,采集策略不同,后期的一些处理和标记格式等都有所不同,对了,他们采集的场景规模,类型等也都不同,所以大家可以针对某一个场景类型去进行点云方向的研究,比如专门做点云物体的识别,室内场景的点云分割,室外场景的点云分割等,介绍一些常用的数据集吧。
1.Semantic3D
这个应该是最经典的室外场景的电云分割数据集,固定的一个激光雷达一直扫描周围场景得到的数据集,精度还是不错的,很多论文的效果比较都是基于这个数据集的,而且他提供官方网站提交你跑的结果。

工程地址:http://www.semantic3d.net/

2.S3DIS
S3DIS数据集是斯坦福大学开发的带有像素级语义标注的语义数据集。室内场景点云数据集,一般是3D相机或者iPad什么的进行采集。
工程地址:http://buildingparser.stanford.edu/dataset.html

3.SemanticKITTI
连续多帧点云数据集,好像就是kitti数据集后面又经过处理得到的,汽车采集。
工程地址:http://www.semantic-kitti.org/index.html

4.SensatUrban
室外大场景点云数据集,是真的大,无人机分区域采集组合得到的数据集。
项目地址:http://point-cloud-analysis.cs.ox.ac.uk/
数据集挑战赛网址:https://competitions.codalab.org/competitions/31519#results

5.Modelnet
竟然忘记了最经典的分类数据集-ModelNet,该系列延伸出很多数据集,包括ModelNet-10和ModelNet-40,都是最开始接触点云领域用到的数据集。
网站:http://modelnet.cs.princeton.edu/#
6.ShapeNet
也算是经典,很早的数据集~

点云深度学习模型

深度学习模型目前主要分为几个方向:基于原始点云、基于图像、基于图神经网络、基于3DCNN的方向去做,主要的区别就是将点云数据转化为不同的数据源去处理。介绍几个比较经典的网络模型。
1.PointNet/PointNet++
最最最最最经典的点云处理网络,感觉现在都被人家当成模块用了,不得不说,很好用。

2.RandLA-Net
牛津大学胡庆拥CVPR2020的一篇文章,也是我毕设跑的最多的代码,SensatUrban也是这个作者提出数据集,并且也举办了挑战赛

3.PointCNN
4.PointConv
5.

相关资料

点云PCL

结语

周末在公司闲下来随便整理一点,有时间再来补充,还有很多很多内容,先列个小框架~

有关3D点云深度学习-浅谈点云分割的更多相关文章

  1. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD

  2. FOHEART H1数据手套驱动Optitrack光学动捕双手运动(Unity3D) - 2

    本教程将在Unity3D中混合Optitrack与数据手套的数据流,在人体运动的基础上,添加双手手指部分的运动。双手手背的角度仍由Optitrack提供,数据手套提供双手手指的角度。 01  客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照:https://gitee.com/foheart_1/foheart-h1-data-summary.git02  数据转发打开MotiveBody软件的Streaming,开始向Unity3D广播数据;MotionVenus中设置->选项选择Unit

  3. Unity 3D 制作开关门动画,旋转门制作,推拉门制作,门把手动画制作 - 2

    Unity自动旋转动画1.开门需要门把手先动,门再动2.关门需要门先动,门把手再动3.中途播放过程中不可以再次进行操作觉得太复杂?查看我的文章开关门简易进阶版效果:如果这个门可以直接打开的话,就不需要放置"门把手"如果门把手还有钥匙需要旋转,那就可以把钥匙放在门把手的"门把手",理论上是可以无限套娃的可调整参数有:角度,反向,轴向,速度运行时点击Test进行测试自己写的代码比较垃圾,命名与结构比较拉,高手轻点喷,新手有类似的需求可以拿去做参考上代码usingSystem.Collections;usingSystem.Collections.Generic;usingUnityEngine;u

  4. [Vuforia]二.3D物体识别 - 2

    之前说过10之后的版本没有3dScan了,所以还是9.8的版本或者之前更早的版本。 3d物体扫描需要先下载扫描的APK进行扫面。首先要在手机上装一个扫描程序,扫描现实中的三维物体,然后上传高通官网,在下载成UnityPackage类型让Unity能够使用这个扫描程序可以从高通官网上进行下载,是一个安卓程序。点到Tools往下滑,找到VuforiaObjectScanner下载后解压数据线连接手机,将apk文件拷入手机安装然后刚才解压文件中的Media文件夹打开,两个PDF图打印第一张A4-ObjectScanningTarget.pdf,主要是用来辅助扫描的。好了,接下来就是扫描三维物体。将瓶

  5. LC滤波器设计学习笔记(一)滤波电路入门 - 2

    目录前言滤波电路科普主要分类实际情况单位的概念常用评价参数函数型滤波器简单分析滤波电路构成低通滤波器RC低通滤波器RL低通滤波器高通滤波器RC高通滤波器RL高通滤波器部分摘自《LC滤波器设计与制作》,侵权删。前言最近需要学习放大电路和滤波电路,但是由于只在之前做音乐频谱分析仪的时候简单了解过一点点运放,所以也是相当从零开始学习了。滤波电路科普主要分类滤波器:主要是从不同频率的成分中提取出特定频率的信号。有源滤波器:由RC元件与运算放大器组成的滤波器。可滤除某一次或多次谐波,最普通易于采用的无源滤波器结构是将电感与电容串联,可对主要次谐波(3、5、7)构成低阻抗旁路。无源滤波器:无源滤波器,又称

  6. CAN协议的学习与理解 - 2

    最近在学习CAN,记录一下,也供大家参考交流。推荐几个我觉得很好的CAN学习,本文也是在看了他们的好文之后做的笔记首先是瑞萨的CAN入门,真的通透;秀!靠这篇我竟然2天理解了CAN协议!实战STM32F4CAN!原文链接:https://blog.csdn.net/XiaoXiaoPengBo/article/details/116206252CAN详解(小白教程)原文链接:https://blog.csdn.net/xwwwj/article/details/105372234一篇易懂的CAN通讯协议指南1一篇易懂的CAN通讯协议指南1-知乎(zhihu.com)视频推荐CAN总线个人知识总

  7. 深度学习部署:Windows安装pycocotools报错解决方法 - 2

    深度学习部署:Windows安装pycocotools报错解决方法1.pycocotools库的简介2.pycocotools安装的坑3.解决办法更多Ai资讯:公主号AiCharm本系列是作者在跑一些深度学习实例时,遇到的各种各样的问题及解决办法,希望能够帮助到大家。ERROR:Commanderroredoutwithexitstatus1:'D:\Anaconda3\python.exe'-u-c'importsys,setuptools,tokenize;sys.argv[0]='"'"'C:\\Users\\46653\\AppData\\Local\\Temp\\pip-instal

  8. ruby - 我正在学习编程并选择了 Ruby。我应该升级到 Ruby 1.9 吗? - 2

    我完全不是程序员,正在学习使用Ruby和Rails框架进行编程。我目前正在使用Ruby1.8.7和Rails3.0.3,但我想知道我是否应该升级到Ruby1.9,因为我真的没有任何升级的“遗留”成本。缺点是什么?我是否会遇到与普通gem的兼容性问题,或者甚至其他我不太了解甚至无法预料的问题? 最佳答案 你应该升级。不要坚持从1.8.7开始。如果您发现不支持1.9.2的gem,请避免使用它们(因为它们很可能不被维护)。如果您对gem是否兼容1.9.2有任何疑问,您可以在以下位置查看:http://www.railsplugins.or

  9. ruby - 我如何学习 ruby​​ 的正则表达式? - 2

    如何学习ruby​​的正则表达式?(对于假人) 最佳答案 http://www.rubular.com/在Ruby中使用正则表达式时是一个很棒的工具,因为它可以立即将结果可视化。 关于ruby-我如何学习ruby​​的正则表达式?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/1881231/

  10. python - Ruby 或 Python 的 3d 游戏引擎? - 2

    关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。要求我们推荐或查找工具、库或最喜欢的场外资源的问题对于StackOverflow来说是偏离主题的,因为它们往往会吸引自以为是的答案和垃圾邮件。相反,describetheproblem以及迄今为止为解决该问题所做的工作。关闭9年前。Improvethisquestion是否有适用于这些的3d游戏引擎?

随机推荐