本文大量参考英文文献UnderstandingLatentSpaceinMachineLearning，并给出一些个人浅显的理解。本意在记录，其次在分享。1.什么是潜在编码？事实上，接触过深度学习或机器学习，应该就算是接触过潜在编码。潜在编码我的理解就是一种降维或者说是压缩，旨在用更少的信息去表达数据的本质。上图是一个简单的encoder-decoder架构，如果把整个网络看成一个花瓶，最细的地方则称之为瓶颈。我们知道，压缩一般都是有损的，这里也不例外，但如果损失的是噪声或者是无用信息是我们最喜欢的了（这样就可以达到信息压缩的目的）通过encoder压缩之后，更重要的是恢复，我们理应认为，能恢
准确的3D场景和对象重建对于机器人、摄影测量和AR/VR等各种应用至关重要。NeRF在合成新颖视图方面取得了成功，但在准确表示底层几何方面存在不足。推荐：用NSDT编辑器快速搭建可编程3D场景我们已经看到了最新的进展，例如NVIDIA的Neuralangelo，但也有NeRFMeshing，它被提议通过从NeRF驱动的网络中提取精确的3D网格来解决这一挑战。NeRFMeshing生成的网格在物理上是准确的，并且可以在不同的设备上实时渲染。1、NeRFMeshing概述虽然NeRF在图像质量、鲁棒性和渲染速度方面显示出令人印象深刻的结果，但从辐射场获取准确的3D网格仍然是一个挑战。现有的表示主要
nerf的理论性介绍已经比较多了。1.NERF介绍与优化NERF的提出Mildenhall,B.,Xiao,J.,Barron,J.T.,Chen,R.,Radford,A.,andNg,R.2020.NeRF:RepresentingScenesasNeuralRadianceFieldsforViewSynthesis.InEuropeanConferenceonComputerVision(ECCV).论文地址：[2003.08934]NeRF:RepresentingScenesasNeuralRadianceFieldsforViewSynthesis(arxiv.org)摘要：我们
DiffusionModels专栏文章汇总：入门与实战前言：关于如何使用stablediffusion的文章已经够多了，但是由浅入深探索stablediffusionmodels背后原理，如何在自己的科研中运用stablediffusion预训练模型的博客少之又少。本系列计划写5篇文章，和读者一起遨游diffusionmodels的世界！本文主要介绍带大家一步步搭建自己的stablediffusionmodels。目录背景设置仔细研究文本到嵌入pipeline
😸NeRF（ECCV2020）主要贡献：提出一种将具有复杂几何性质和材料的连续场景表示为5D神经辐射场的方法，并将其参数化为基本的MLP网络提出一种基于经典体渲染技术的可微渲染方式，论文用它来优化标准RGB图像的表示提出位置编码将每个输入5D坐标映射到高维空间，这使得论文能够成功优化神经辐射场来表示高频场景内容文章目录前言5D坐标坐标变换常见图像质量评估指标网络结构体渲染位置编码多层级体素采样损失函数代码运行结果前言5D坐标😸论文提出了一种通过使用稀疏的输入图像集优化底层连续体积场景函数（volumetricscenefunction）的方法，从而达到了合成复杂场景新视图的SOTA。论文的算法
NeRF源码解读（一）前言NeRF是三维视觉中新视图合成任务的启示性工作，最近领域内出现了许多基于NeRF的变种工作。本文以pytorch版NeRF作为基础对NeRF的代码进行分析。主要从以下方面开展：数据的加载光线的生成NeRF网络架构渲染过程一、数据的加载本文以加载合成数据集中lego图像为例。首先我们观察./data/nerf_synthetic/lego文件夹下的树结构：train、test、val三个文件夹下包含了训练要用到的.png图像，每个文件夹下包含100个文件。.json文件包含了相机的camera2word转置矩阵，下图展示了部分文件中的内容。关于此转置矩阵不再展开叙述，具
题目:Make-It-3D:High-Fidelity3DCreationfromASingleImagewithDiffusionPriorPaper:https://arxiv.org/pdf/2303.14184.pdfCode:https://make-it-3d.github.io/文章目录前言一、方法1.第一阶段CoarseStage:Single-view3DReconstruction1.参考点的像素损失Referenceviewper-pixelloss2.扩散模型先验Diffusionprior3.深度先验Depthprior4.训练整体Overalltraining2.第
文章目录概述相关工作3D形状合成使用2D监督的text-to-3D任务方法前置知识LDMScoreDistillationLatentNeRF文本引导RGBrefinementSketch-ShapeGuidance对于显式形状的Latent-Paint实验实验细节文本引导的生成RGBRefinementTextual-InversionSketch-ShapeGuidanceLatent-Paint生成Limitations参考文献写在最后概述论文链接：https://arxiv.org/pdf/2211.07600.pdf这篇文章做的task可以简单分为三个：直接用文本生成3D；用一个所谓
文章目录摘要一、引言二、方法2.1.基于nerf的编辑问题概述2.2.编辑指导生成2.3.即时预览的两阶段学生训练三、实验四、代码（未完...）总结项目主页:https://windingwind.github.io/seal-3d/代码：https://github.com/windingwind/seal-3d/论文:https://arxiv.org/pdf/2307.15131摘要随着隐式神经表征（即NeRF）的流行，迫切需要编辑方法与隐式3D模型交互，如后处理重建场景和3D内容创建。之前的工作在编辑的灵活性、质量和速度方面都受到了限制，为了能够直接响应编辑指令并立即更新。提出的Sea
摘要随着隐式神经表示或神经辐射场(NeRF)的流行，迫切需要与隐式3D模型交互的编辑方法，以完成后处理重建场景和3D内容创建等任务。虽然之前的作品从不同角度探索了NeRF编辑，但它们在编辑灵活性、质量和速度方面受到限制，无法提供直接的编辑响应和即时预览。关键的挑战是构思一种本地可编辑的神经表示，它可以直接反映编辑指令并立即更新。为了弥补这一差距，我们提出了一种新的隐式表示交互式编辑方法和系统，称为Seal-3D，它允许用户以像素级和自由的方式编辑NeRF模型，并具有广泛的类NeRF主干网，并预览立即编辑效果。为了实现这些效果，我们提出的代理函数将编辑指令映射到NeRF模型的原始空间，以及具有局
