最近在研究AIGC，先是玩了一下Midjourney，后来Midjourney免费额度用完了，也不再开放免费额度给新用户使用了，于是转而研究StableDiffusion。StableDiffusion（以下简称SD）的最大优点就是开源免费，而且对硬件的要求不高，MacM1芯片就能跑，当然如果是高端N卡当然是更好了。关于StableDiffusion的介绍和使用方法，我另外用视频介绍，今天主要介绍SD的扩展（插件）。官方的SD已经内部集成了多个扩展，比如Lora就是原生集成的，所有官方内部集成的扩展放在了stable-diffusion-webui/extensions-builtin文件夹，

前言如果你对这篇文章感兴趣，可以点击「【访客必读-指引页】一文囊括主页内所有高质量博客」，查看完整博客分类与对应链接。框架这些生成式AI的整体功能为：输入「文字」，返回「图像」，即Text-to-imageGenerator：生成器的内部框架如下所示：第一部分：TextEncoder，输出Text，返回对应的Embedding（向量）；第二部分：GenerationModel，输入为Text的Embedding与一个随机生成的Embedding（用于后续的Diffusion过程），返回中间产物（可以是图片的压缩版本，也可以是LatentRepresentation）；第三部分：Decoder，

前言如果你对这篇文章感兴趣，可以点击「【访客必读-指引页】一文囊括主页内所有高质量博客」，查看完整博客分类与对应链接。框架这些生成式AI的整体功能为：输入「文字」，返回「图像」，即Text-to-imageGenerator：生成器的内部框架如下所示：第一部分：TextEncoder，输出Text，返回对应的Embedding（向量）；第二部分：GenerationModel，输入为Text的Embedding与一个随机生成的Embedding（用于后续的Diffusion过程），返回中间产物（可以是图片的压缩版本，也可以是LatentRepresentation）；第三部分：Decoder，

错误Python3.10.10(main,Mar212023,18:45:11)[GCC11.2.0]Commithash:Traceback(mostrecentcalllast):File“/home/xxxxx/PycharmProjects/stable-diffusion-webui/launch.py”,line355,inprepare_environment()File“/home/xxxx/PycharmProjects/stable-diffusion-webui/launch.py”,line288,inprepare_environmentgit_clone(stabl

深入理解扩散模型：DiffusionModels引言扩散模型的原理扩散过程反向过程优化目标模型设计代码实现StableDiffusion、DALL-E、Imagen背后共同的套路StableDiffusionDALL-EseriesImagenTextencoderDecoder什么是FID（FrechetInceptionDistance）什么是CLIP（ContrastiveLanguage-ImagePre-Training）DiffusionModel:SummaryDiffusionModelinPyTorch参考资料本文综合最近阅读的关于扩散模型的一些基础博客和文章整理而成。主要参

我从小特别羡慕会画画的伙伴。他们能够将心中的想法画出来，而我最高水平的肖像画是丁老头。但在接触StableDiffusion之后，我感觉自己脱胎换骨，给自己贴上了「会画画」的新标签。丁老头进化旅程StableDiffusion是一个「文本到图像」的人工智能模型，也是唯一一款开源且能部署在家用电脑（对硬件要求不高）上的AI绘图工具。使用StableDiffusion，你可以在拥有6GB显存显卡，16GB内存或只依赖CPU的电脑上生成图像，并且仅需几秒钟的时间，无需进行预处理或后处理。想要体验AI绘图，你可以使用在线工具HuggingFaceopeninnewwindow、DreamStudioo

文章目录1.安装自动安装手动安装2.启用Controlnet3.配置Controlnet4.预训练模型区别5.多ControlNet组合应用6.参数介绍7.版本对比ReferenceControlnet允许通过线稿、动作识别、深度信息等对生成的图像进行控制。1.安装自动安装在stable-diffusion-webui页面上找到Extensions->InstallfromURL，输入插件的git地址，然后点击Install即可，URL如下：https://github.com/Mikubill/sd-webui-controlnet.git等待loading结束后，页面底部会出现Instal

使用UnrealEngine虚幻引擎开发非游戏类型的大型应用往往会涉及到大量UI界面的制作，使用原生UI框架需要投入大量专业人员。如果能够利用常规的Web页面作为UI，对于拥有Web开发人员的团队来讲无疑是个福音。WebUI插件正是在这样的背景下诞生的，能够将成熟的HTML页面作为应用的组成部分，同时解决了UE与Web的交互问题。文末已附资源，可直接下载不过想要在UE项目中使用WebUI插件还是要先费点功夫的。WebUI插件的下载地址如下：https://github.com/tracerinteractive/UnrealEngine/releases不过打开之后大概率会提示找不到资源，原因

使用UnrealEngine虚幻引擎开发非游戏类型的大型应用往往会涉及到大量UI界面的制作，使用原生UI框架需要投入大量专业人员。如果能够利用常规的Web页面作为UI，对于拥有Web开发人员的团队来讲无疑是个福音。WebUI插件正是在这样的背景下诞生的，能够将成熟的HTML页面作为应用的组成部分，同时解决了UE与Web的交互问题。文末已附资源，可直接下载不过想要在UE项目中使用WebUI插件还是要先费点功夫的。WebUI插件的下载地址如下：https://github.com/tracerinteractive/UnrealEngine/releases不过打开之后大概率会提示找不到资源，原因

文章目录概述代码实现image_trian.pydefcreate_model_and_diffusion()defcreate_gaussian_diffusion()SpacedDiffusion类GaussianDiffusion类⭐LOOKHERE⭐边角料noisescheduling概述DMbeatGANs作者改进了DDPM模型，提出了三个改进点，目的是提高在生成图像上的对数似然第一个改进点方差改成了可学习的，预测方差线性加权的权重第二个改进点将噪声方案的线性变化变成了非线性变换第三个改进点将loss做了改进，Lhybrid=Lsimple+λLvlb（MSEloss+KLloss）