三维高斯…喷喷 \, 3DGaussianSplatting，下文简称3DGS，是好一段时间以来在三维内容创作和三维重建领域比较有热度的一项技术。它属于基于图像的三维重建方法，意思就是你对现实物体或者场景拍照片，就能给你训练成一个场景模型，能够被渲染出来给你看。 它产生的模型可以作为三维内容创作的资产，什么意思呢，就是你可以搞一点视频或者很多图片作为输入，丢进什么应用等一会就变成一个3DGS，最后过几个插件就可以拖进大家最爱的blender/ue/unity里面用啦。 所谓的辐射场方法意思就是它们会存一些辐射度（radiance），类似于存储你位于某个地点、从某个视角、看场景里面的各个点
之前博客进行了COLMAP在服务器下的测试实验笔记之——Linux实现COLMAP-CSDN博客文章浏览阅读794次，点赞24次，收藏6次。学习笔记之——NeRFSLAM（基于神经辐射场的SLAM）-CSDN博客NeRF所做的任务是NovelViewSynthesis（新视角合成），即在若干已知视角下对场景进行一系列的观测（相机内外参、图像、Pose等），合成任意新视角下的图像。传统方法中，通常这一任务采用三维重建再渲染的方式实现，NeRF希望不进行显式的三维重建过程，仅根据内外参直接得到新视角渲染的图像。之前博客跑instant-NGP的时候，除了用官方的数据集，用自己的数据则是通过手机采集
目录概念理解三维高斯喷洒渲染实例依赖项：编译报错：预训练模型13G：
原文链接：https://arxiv.org/abs/2312.067411.引言许多SLAM方法组合了多种3D表达；使用统一表达进行系统的所有操作（细节的局部表达、大规模几何建图和通过直接对齐进行相机跟踪）是一种有趣的进展。本文提出第一个基于3D高斯溅射（3DGS）的在线视觉SLAM系统。3DGS中的3D场景会被表达为大量的有方向、伸长率、颜色和不透明度的高斯。其余视觉SLAM方法使用占用/有符号距离函数（SDF）体素网格、网孔、点/surfelclouds、神经场，但均有缺点：网格占用大量空间、分辨率有限；网孔需要困难无规则的拓扑以融合新信息；surfelclouds不连续，融合和优化困难
笔记目录1.基本信息2.理解（个人初步理解，随时会修改）3.方法原理1.基本信息题目：3DGaussianSplattingforReal-TimeRadianceFieldRendering用于实时辐射场渲染的三维高斯飞溅发表：2023.8SIGGRAPH2023机构：Inria/UniversitéCôted’Azur/MPIInformatik作者：BernhardKerbl等链接直达：github/paper/project关键词：Rendering;Point-basedmodels;Rasterization;Machinelearningapproaches.概括：本文介绍了一种
原文链接：https://arxiv.org/abs/2308.040791.引言网孔和点是最常见的3D场景表达，因其是显式的且适合基于GPU/CUDA的快速栅格化。神经辐射场（NeRF）则建立连续的场景表达便于优化，但渲染时的随机采样耗时且引入噪声。本文的方法结合了上述两种方法的优点：使用3D高斯表达和基于tile的溅射，能实时地渲染高质量高分辨率图像。首先建立3D高斯表达场景。从使用运动恢复结构（SfM）方法校准的相机出发，使用SfM过程中产生的稀疏点云初始化3D高斯集合。即使使用随机初始化，本文的方法也能达到高质量图像合成。3D高斯是可微体积表达，且可以通过投影到2D、并使用标准的α\a
pdf|proj|code本文提出一种新的3D数据表达形式3DGaussians。每个Gaussian由以下参数组成：中心点位置、协方差矩阵、可见性、颜色。通过世界坐标系到相机坐标系，再到图像坐标系的仿射关系，可将3DGaussian映射到相机坐标系，通过对z轴积分，可得到对应Splatting2D分布。针对3DGaussians，提出对应的优化方法。去除可见性太低的高斯，对回传梯度较大的高斯，通过复制，克隆等操作，增强表达能力。针对3DGaussians，提出对应的光栅化方法。将图像切分为16x16的块，每个块内对高斯根据深度进行排序。光栅时，从前向后遍历，当可见性累加到某个阈值即停止。梯度
摘要：\quad在3Dcontentcreation方面的最新进展大多利用通过SDS进行的基于优化3D生成。虽然已经显示出了有希望的结果，但这些方法的per-sampleoptimization往往比较缓慢，限制了它们的实际应用。在这篇文章中，我们提出了DreamGaussian，同时实现efficiency和quality。我们的keyinsight是设计一个生成的三维高斯溅模型，在UV空间中进行友好的网格提取和纹理细化。与NeRF使用的occupancypruning优化过程相反，我们证明了在三维生成任务中，3DGaussians的progressivedensification收敛速度明
学习参考：3Dgaussiansplatting安装步骤拆解23.9月3DGaussianSplatting入门指南【五分钟学会渲染自己的NeRF模型，有手就行！】三维重建instant-ngp环境部署与colmap、ffmpeg的脚本参数使用一、3DGaussianSplatting（一）3DGaussianSplatting环境配置1.环境需要我在conda环境中使用的是python3.8，cuda用的是11.8版本，cudann用的是8.9.6.50。（1）CUDA和CUDANN安装提示：在下面这个教程中，作者提到不要勾选VisualStudioIntegration，但是我第一次下的时
文章目录前言训练3DGaussianSplatting模型步骤安装Anaconda安装Pycharm安装git拉取github项目数据制作获取相机位姿模型训练CUDA搭建cuDNN下载及安装AnacondaPrompt虚拟环境搭建训练模型可视化前言3DGaussianSplattingforReal-TimeRadianceFieldRenderinghttps://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/主要研究方法是使用3D高斯光点绘制（3DGaussianSplatting）方法进行实时光辐射场渲染。该方法结合了3D高斯场表示和实
