简介主页：https://sirwyver.github.io/DiffRF/对应用于三维亮度场的概率扩散过程进行去噪。在3D监控和体积渲染的指导下，模型能够无条件地合成高保真3D资产(左)。蒙面补全的新应用(右)，即从不完整的对象中恢复形状和外观的任务(在右上方的椅子上用浅蓝色突出显示)，由模型作为条件推理解决，无需特定任务训练基于去噪扩散概率模型的三维辐射场合成新方法，提出了一个三维去噪模型，该模型直接作用于显式体素网格表示，但是，由于从一组摆拍图像生成的辐射场可能是模糊的，并且包含伪影，因此难以获得真实辐射场样本，通过将去噪公式与渲染损失配对来解决这一挑战，使模型能够学习一个偏向于良好图

原文链接：https://browse.arxiv.org/abs/2401.180751.引言人类可以从部分视觉上下文中想象不能看到的部分（物体的存在与位置，以及场景与物体的形状、颜色、纹理等），这对安全决策至关重要。而自动驾驶系统的传统方法是将传感器输入转化为被跟踪物体的位置、速度等信息，通常会基于最坏的假设（可视区域边界存在高速运动的车辆）进行规划。NeRF可以从无遮挡视角生成新视图，从而包含目标检测器可能丢失的重要视觉信息；此外，其使用隐式的密度图表达显式几何，可以无需渲染就进行运动规划。但使用NeRF进行遮挡处的概率预测是很困难的。本文提出CRAFF，第一个使用场景的部分观测进行3D

最近开始接触基于深度学习的渲染，记录下阅读过的论文。欢迎交流。 这篇论文的主要作者来自法国Inria（国家信息与自动化研究所）。发表在ACMTransactionsonGraphics。 本文主要介绍了一种使用辐射场（RadianceFieldmethods）进行新视角合成的方法：Gaussiansplatting（也有描述说这种方法已经很早就有，只是2023年有了加速以及效果好才火起来，我们暂且留坑，以后再关注历史），可以进行快速（30fps）且高质量（1080p）的场景重建。本文的创新点：1.使用3D高斯表达场景，以优化空间使用和计算效率；2.通过交错优化和密度控制，尤其是各向异性协方差，

3DGS其一：3DGaussianSplattingforReal-TimeRadianceFieldRendering1.预备知识1.1球谐函数1.2Splatting1.3α\alphaαblending1.4多维高斯的协方差矩阵1.4.1高斯与椭球体的关系1.4.2世界坐标系下的三维高斯到二维像素平面投影过程2.3DGaussianSplatting2.1特点2.2流程与关键步骤2.2.1场景表达2.2.2整体流程2.3算法伪代码2.3.1整体流程伪代码2.3.2光栅化伪代码Reference：深蓝学院：NeRF基础与常见算法解析GitHub:gaussian-splatting原文官网

目录概述摘要引言参数化效率歧义性mip-NeRF场景和光线参数化从粗到细的在线蒸馏基于区间的模型的正则化实现细节实验限制总结：附录退火膨胀采样背景颜色paper：https://arxiv.org/abs/2111.12077code：https://github.com/google-research/multinerfproject：https://jonbarron.info/mipnerf360/概述MipNeRF360是在NeRF++和MipNeRF的基础上进行的扩展，利用NeRF++提出的远景参数化技巧和MipNeRF的低通滤波思想同时实现了无界场景的高质量渲染与抗锯齿。摘要现有方

感谢B站意の茗的讲解。论文地址：https://arxiv.org/abs/2308.04079项目主页：https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/概述从已有点云模型出发（sfm），以每个点为中心建立可学习的3D高斯表达，Splatting方法进行渲染，实现高分辨率实时渲染。（推动NERF加速方向）能用训练好的点云在windows上进行实时渲染。随机初始化点云，不提供初始点云也行，在训练过程中可以对点云进行生长和修剪。（一般NeRF需要从COLMAP计算相机位姿，此时已经得到初始点云。）用instant-NGP的速度，实现

 BRDF        BRDF是双向反射分布函数（BidirectionalReflectanceDistributionFunction，BRDF）用来定义给定入射方向上的辐射照度（irradiance），如何影响给定出射方向上的辐射率（radiance）。更笼统地说，它描述了入射光线经过某个表面反射后如何在各个出射方向上分布。也可理解为：光线从某个方向入射到表面后，能量被该表面吸收，然后再朝着各个方向发射出去。  即：radiance/irradiance 漫反射BRDF 在光栅化的时候我们就已经了解到漫反射：光线在击中场景中的某点后会朝着四面八方均匀地散射出去。 因此，漫反射的BRD

原文链接：https://arxiv.org/abs/2312.092431.引言3D目标检测任务受到无限类别和长尾问题的影响。3D占用预测则不同，其关注场景的几何重建，但多数方法需要从激光雷达点云获取的3D监督信号。本文提出OccNeRF，一种自监督多相机占用预测模型。首先使用图像主干提取2D特征。为节省空间，本文直接插值2D特征得到3D体素特征，而不使用交叉注意力。此外，本文考虑相机视野的无限空间，因此将占用场参数化，以表达无界环境。本文将整个3D空间分为内部和外部区域，其中内部区域保留原始坐标，外部区域使用收缩坐标。还设计专门的采样策略和神经渲染，将参数化占用场转化为多相机深度图。使用渲

原文链接：https://arxiv.org/abs/2308.040791.引言网孔和点是最常见的3D场景表达，因其是显式的且适合基于GPU/CUDA的快速栅格化。神经辐射场（NeRF）则建立连续的场景表达便于优化，但渲染时的随机采样耗时且引入噪声。本文的方法结合了上述两种方法的优点：使用3D高斯表达和基于tile的溅射，能实时地渲染高质量高分辨率图像。首先建立3D高斯表达场景。从使用运动恢复结构（SfM）方法校准的相机出发，使用SfM过程中产生的稀疏点云初始化3D高斯集合。即使使用随机初始化，本文的方法也能达到高质量图像合成。3D高斯是可微体积表达，且可以通过投影到2D、并使用标准的α\a

文章目录简介创新点神经辐射场场景表示（NeuralRadianceFieldSceneRepresentation）带有辐射场的体渲染（VolumeRenderingwithRadianceFields）优化神经辐射场（OptimizingaNeuralRadianceField）位置编码（Positionalencoding）分层体积采样（Hierarchicalvolumesampling）参考关于NeRF的相关介绍很多，可见其火爆程度。论文地址项目主页简介它要处理的任务是新视角合成。会围绕物体采集不同角度的图像，之后计算每个采集角度的相机位姿，将采集的图像序列以及它们对应的位姿送入到Ne