万字长文全面理解与应用StableDiffusion1.StableDiffusion简介1.1基本概念1.2主体结构1.3训练细节1.4模型评测1.5模型应用1.6模型版本1.7其他类型的条件生成模型1.8使用DreamBooth进行微调2.实战StableDiffusion2.1环境准备2.2从文本生成图像2.3StableDiffusionPipeline2.3.12.3.2分词器和文本编码器2.3.3UNet2.3.4调度器2.3.5DIY采样循环2.4其他管线应用2.4.1Img2Img2.4.2Inpainting2.4.3Depth2Image3.StableDiffusion的
🪲效果展示🪲html展示doctypehtml>html>head>metacharset=
IP-Adapter这是一种有效且轻量级的适配器，用于实现预训练文本到图像扩散模型的图像提示功能。只有22M参数的IP适配器可以实现与微调图像提示模型相当甚至更好的性能。IP-Adapter不仅可以推广到从同一基本模型微调的其他自定义模型，还可以推广到使用现有可控工具的可控生成。此外，图像提示还可以与文本提示配合使用，以完成多模态图像生成。项目地址：https://github.com/tencent-ailab/IP-Adapter释放[2023/11/22]由于Diffusers团队，Diffusers中提供了IP-Adapter。[2023/11/10]🔥添加IP-Adapter-Fac
Slide-Transformer:HierarchicalVisionTransformerwithLocalSelf-Attention一、分析1、改进transformer的几个思路：（1）将全局感受野控制在较小区域，如：PVT，DAT，使用稀疏全局注意力来从特征图选择稀疏的键对值，并且在所有查询中共享它们。（2）就是SwinTransformer这条窗口注意力范式，输入被分为特殊设计的窗口，特征在窗口中提取并融合。非常有效，但是有一些局限性，一方面，稀疏全局注意力在捕捉局部特征方面往往较差，并且容易受到关键和值位置的影响，在这些位置，其他区域中的信息特征可能会被丢弃。另一方面，窗口注意
论文阅读笔记AI篇——Transformer模型理论+实战（二）第二遍阅读（通读）2.1Background2.2ModelArchitecture2.2.1EncoderandDecoderStacks2.2.2ScaledDot-ProductAttention2.2.3Multi-HeadAttention2.3WhySelf-Attention2.4Training2.5Results2.6Conclusion资源地址Attentionisallyouneed.pdf(0积分)-CSDN第二遍阅读（通读）图1——Transformer结构图图2——Attention结构图2.1Back
当大家面临着复杂的数学建模问题时，你是否曾经感到茫然无措？作为2022年美国大学生数学建模比赛的O奖得主，我为大家提供了一套优秀的解题思路，让你轻松应对各种难题。让我们来看看华数杯的A题！完整内容可以在文章末尾领取！建立一个模型来描述放射性废水在海水中的扩散速率和方向，考虑到涉及的物理过程和环境因素的复杂性，我们通常会使用一个简化的扩散模型作为起点。在这种情况下，我们可以使用一个被广泛应用于环境工程和物理海洋学的模型：阿德韦克斯-扩散方程。这个方程考虑了物质由于流体运动（阿德韦克斯项）和由于浓度梯度引起的分子扩散（扩散项）的传输。阿德韦克斯-扩散方程阿德韦克斯-扩散方程的一维形式如下：∂C∂t
本文经自动驾驶之心公众号授权转载，转载请联系出处。写在前面&行业理解基于BEV的transformer方案今年量产的主要方案，transformer结构和CNN相比，特征提取能力更强，但需要较多的算力，这也是为什么许多车上都是1~2颗orin芯片支持。所以如何轻量化基于Transformer的BEV方案，成为各大自动驾驶公司后面优化的重点，地平线的最新工作，将Transformer+BVE轻量化，保持了性能领先和速度领先。WidthFormer有哪些优势？WidthFormer是一种轻量级且易于部署的BEV变换方法，它使用单层transformer解码器来计算BEV表示。除此之外，还提出了参考
如何根据特定需求选择视觉模型？ConvNet/ViT、supervised/CLIP模型，在ImageNet之外的指标上如何相互比较？来自MABZUAI和Meta的研究人员发表的最新研究，在「非标准」指标上全面比较了常见的视觉模型。论文地址：https://arxiv.org/pdf/2311.09215.pdf就连LeCun称赞道，非常酷的研究，比较了相似大小的ConvNext和VIT架构，无论是在监督模式下训练，还是使用CLIP方法进行训练，并在各种属性上进行了比较。超越ImageNet准确性计算机视觉模型格局，变得越来越多样复杂。从早期的ConvNets到VisionTransforme
0.简介之前了解了很多BEV的相关操作，但是基本上要么是激光和视觉结合，要么是纯视觉完成的2D激光投影这两种，而那种3DOccupancy方法可以利用栅格的方法完成纯视觉占据栅格的生成。《VoxFormer:SparseVoxelTransformerforCamera-based3DSemanticSceneCompletion》就是这种方法对于被遮挡的物体和场景，人们可以很容易地联想出其完整的3D几何结构，这种吸引人的能力对于AI系统来说是一个至关重要的。为了应对这种挑战，语义场景补全（SSC）任务应运而生，以往的SSC通常以3D点云作为输入，或以密集特征投影将2D图像作为输入来得到3D语
文章目录1摘要1.1核心2模型架构2.1概览2.2理解encoder-decoder架构2.2.1对比seq2seq，RNN2.2.2我的理解3.Sublayer3.1多头注意力multi-headself-attention3.1.1缩放点乘注意力ScaledDot-ProductAttention3.1.2QKV3.1.3multi-head3.1.4masked3.2线性层MLP3.3embeddingandsoftmax3.4positionalencoding3.5dropout总结附[李沐b站对该论文理解的一些题目和答案](https://zhuanlan.zhihu.com/p/
