论文：2003.RepresentingScenesasNeuralRadianceFieldsforViewSynthesis官方网站：https://www.matthewtancik.com/nerf突破性后续改进：InstantNeuralGraphicsPrimitiveswithaMultiresolutionHashEncoding|展示官网：https://nvlabs.github.io/instant-ngp/搞懂神经辐射场的坐标系NeuralRadianceFields(NeRF)-董鑫的文章-知乎https://zhuanlan.zhihu.com/p/59999475
神经辐射场（NeuralRadianceFields）自2020年被提出以来，相关论文数量呈指数增长，不但成为了三维重建的重要分支方向，也逐渐作为自动驾驶重要工具活跃在研究前沿。NeRF这两年异军突起，主要因为它跳过了传统CV重建pipeline的特征点提取和匹配、对极几何与三角化、PnP加BundleAdjustment等步骤，甚至跳过mesh的重建、贴图和光追，直接从2D输入图像学习一个辐射场，然后从辐射场输出逼近真实照片的渲染图像。也就是说，让一个基于神经网络的隐式三维模型，去拟合指定视角下的2D图像，并使其兼具新视角合成和能力。NeRF的发展也和自动驾驶息息相关，具体体现在真实的场景重
InstantNeuralGraphicsPrimitiveswithaMultiresolutionHashEncoding具有多分辨率哈希编码的即时神经图形基元OverviewInstant-NGPbreaksNeRFtraininginto3pillarsandproposesimprovementstoeachtoenablereal-timetrainingofNeRFs.The3pillarsare:Instant-NGP将NeRF训练分为3个支柱，并提出改进建议，以实现NeRF的实时训练。三大支柱是：Animprovedtrainingandrenderingalgorithmv
最近阅读了开启三维重建新纪元的经典文章《NeRF:RepresentingScenesasNeuralRadianceFieldsforViewSynthesis》，接下来会更新NeRF系列的论文精读、代码详解，力求做到全网最细！欢迎大家关注和交流！论文链接：论文代码链接：Github（这是官方代码，是tensorflow版本）Abstract文章提出了一种合成复杂场景的新视角图片的方法，使用一组稀疏的输入视图来优化底层的连续体积场景函数。算法只需要使用全连接网络（而不需要卷积），仅需的输入是单个连续5D坐标，也就是空间位置(x,y,z)(x,y,z)(x,y,z)和观察方向(θ,φ)(θ
Neuralangelo：高保真神经表面重建公众号：AI知识物语；B站暂定；知乎同名视频入门介绍可以参考B站——CVPR2023最新工作！Neuralangelo：高保真Nerf表面重建https://www.bilibili.com/video/BV1Ju411W7FL/spm_id_from=333.337.searchcard.all.click&vd_source=03387e75fde3d924cb207c0c18ffa567图1所示。本文提出Neuralangelo，一种用神经体渲染从RGB图像中进行高保真3D表面重建的框架，即使没有分割或深度等辅助数据。图中显示的是一个提取的法院
pixelNeRF:NeuralRadianceFieldsfromOneorFewImages原论文从标题中就可以看出，本文是将NeRF推广到少量甚至一张视图来建立神经辐射场（实验中还表明对于没有见过的类别中的对象也能做到）。作者指出NeRF是一种基于优化的方法，使用几何一致性作为唯一信号，类似于经典的多视图立体匹配。因此，每个场景都必须单独优化，场景之间不共享任何知识。这不仅费时，而且在单一或极其稀疏的视图的限制下，它无法利用任何关于世界的先验知识来完成或者加速重建。本文提出将视图的特征作为NeRF的条件，使其融入到场景表征的模型中，而不是只作为监督信号，这样有助于学习到一个场景的先验知识
准确的3D场景和对象重建对于机器人、摄影测量和AR/VR等各种应用至关重要。NeRF在合成新颖视图方面取得了成功，但在准确表示底层几何方面存在不足。推荐：用NSDT编辑器快速搭建可编程3D场景我们已经看到了最新的进展，例如NVIDIA的Neuralangelo，但也有NeRFMeshing，它被提议通过从NeRF驱动的网络中提取精确的3D网格来解决这一挑战。NeRFMeshing生成的网格在物理上是准确的，并且可以在不同的设备上实时渲染。1、NeRFMeshing概述虽然NeRF在图像质量、鲁棒性和渲染速度方面显示出令人印象深刻的结果，但从辐射场获取准确的3D网格仍然是一个挑战。现有的表示主要
gihub代码论文-Arxiv-High-ResolutionImageSynthesiswithLatentDiffusionModels参考视频：【渣渣讲课】试图做一个正常讲解Latent/StableDiffusion的成年人中文翻译论文(这篇翻译得很好)文章目录简要概述生成模型优缺点分析Text2Image的历史LatentDiffusionModel结构两阶段图像合成组件Autoencoder——感知性图像压缩隐扩散模型条件机制实现细节图像引导机制条件性LDM的τθ\tau_\thetaτθ的实现自动编码器模型的细节论文之外简要概述生成模型我们来看一些主要的生成模型：第一个GAN生
引言Diffusion model大获成功，但是它的短板也很明显，需要大量的计算资源，并且推理速度比较慢。如何才能提升Diffusion model的计算效率。业界有各种各样的改进，无疑Latent Diffusion Models（潜在扩散模型，LDMs）是比较成功的一篇，那就来学习一下LDMS是怎么做的吧论文贡献1，与基于变换的方法相比，论文的方法在处理更高维度数据，可以高效地应用于高分辨率图像的合成，具体措施如下）使用潜在空间进行训练：作者在隐空间而不是像素空间上训练扩散模型。这使得模型可以在更高分辨率的图像上实现高效的图像合成，同时降低计算复杂性。）训练自动编码器：首先，作者训练了一个
