文章目录1.Abstract2.Introduction3.RelatedworkDETRbasemethods4.Method4.1FeatureExtractionVisualFeaturesdepthfeaturesforegrounddepthmap4.2DepthguidedtransformerVisualanddepthencodersDepth-guided-decoderDepthpositionalencoding4.3Detectionheadsandlossbipartitematchingoverallloss4.4Plug-and-playforMulti-view

一、基于单目图像的3d目标检测这一部分是论文中最难理解的一章，作者的主要想法，是利用2d图像来生成3d的目标包围框（boundingbox），一方面这个思路本身就不是很好懂，另一方面，作者写这一章还是用的倒叙，显得更难理解了。3d包围框的定义对于本文的3d包围框，需要使用九个量来定义，可以分为三组：位置（三维场景下的xyz坐标），旋转矩阵R（rpy一共三自由度）以及三个方向上的尺度。简单来说，3d包围框本身是一个立方体，立方体的朝向就对应旋转矩阵R，立方体中心的坐标就是位置，立方体的长宽高对应的就是三个方向上的尺度，所以一共是九个自由度来描述一个空间物体的包围框。对于这篇论文，我们使用的是图像

目录概述整体流程伪点云vs点云2D-3D边界框的一致性约束概述本文的输入数据仅仅是单目图像，在方法上是融合了伪点云（Pseudo-LiDAR）的深度信息表示方法与FrustumPointNets的检测方法。乍一看文章和伪点云原论文Pseudo-LiDARfromVisualDepthEstimation:BridgingtheGapin3DObjectDetectionforAD一模一样，但是会更具体一点，也就是本文只关注单目图像，同时解决了一些伪点云存在的问题。ps：作者提到了其他设备的一些弊端：深度相机能捕捉的范围很有限；双目相机工作的流程很麻烦，需要校准与同步；激光雷达就不用说了，很贵哈

文章目录前言单目3D检测概述检测算法nuScenes-Mini数据集简介下载MMDetection3D数据集准备KITTInuScenes-Mini配置文件多卡训练测试及可视化参考资料前言本文简要介绍单目（仅一个摄像头）3D目标检测算法，并使用MMDetection3D算法库，对KITTI（SMOKE算法）、nuScenes-Mini（FCOS3D、PGD算法）进行训练、测试以及可视化操作。 单目3D检测概述单目3D检测，顾名思义，就是只使用一个摄像头采集图像数据，并将图像作为输入送入模型进，为每一个感兴趣的目标预测3D框及类别标签。但可以想到，图像不能提供足够的三维信息（缺失深度信息），因此