最近AI换脸又火起来了，小红书InstantX团队发布了一款最新的换脸技术InstantID和之前的主流的训练lora换脸不同，InstantID只需要上传一张图就可以实现换脸以及姿势替换！一InstantID介绍InstantID主要分为了三部分IDEmbedding：通过预训练的面部识别模型，将语义人脸特征提取为FaceEmbedding。这种嵌入包含了丰富的语义信息，如面部特征、表情、年龄等，为后续的图像生成提供了坚实的基础。ImageAdapter：引入轻量级的适配模块，将提取的身份信息与文本提示结合。通过解耦的交叉注意力机制，图像和文本能够独立地影响生成过程，同时保持身份信息的同时允
根据StableDiffusion官方说明webui是不支持AMDGPU显卡的，所以在国内如果想省点事情要玩StableDiffusion(SD)推荐用黄教主的英伟达显卡NVIDIAGPU，可以省心不少。AMD显卡得用webui-directml，这是另外的包，按官方的说明实际操作并不难，下面先说在Windows上的步骤：安装Python3.10.6版（勾选addpython.exetoPATH，具体可以查看下面的参考文献1.），以及git2.39.2版；在DOS窗内执行gitclonehttps://github.com/lshqqytiger/stable-diffusion-webui-
大家好，我是程序员晓晓今天给大家分享一个特别强大的StableDiffusion插件：EasyPhoto，这个插件一直在迭代，从最开始的AI写真，然后是AI视频，到最近的AI换装，能力一直在持续增强。这个插件的基础能力是Lora训练，只需要5-20张特定人物或者风景的照片，不需要对图片进行任何格式化和打标的处理，也不需要理解各种复杂的参数，就可以生成一个独特的Lora模型；然后基于这个模型，我们就可以生成特定形象的照片、视频，可以文生图（视频），也可以图生图（视频）。下面是我的效果展示，人物形象来自寡姐，最左边这张是原图，右边两张是生成的图片。效果还不错，最有特色的就是寡姐的这个小鼻子，模仿的
为什么要做模型微调模型微调可以在现有模型的基础上，让AI懂得如何更精确生成/生成特定的风格、概念、角色、姿势、对象。StableDiffusion模型的微调方法通常依赖于您要微调的具体任务和数据。下面是一个通用的微调过程的概述：准备数据集：准备用于微调的数据集。这包括输入图像和相应的标签（如果适用）。确保数据集与您的微调任务相匹配，并且具有足够的样本量和多样性。选择模型：选择要微调的StableDiffusion模型。根据您的任务需求，选择合适的预训练模型。您可以根据任务的复杂性和数据集的大小选择不同的模型规模。冻结部分层（可选）：根据您的需求，决定是否冻结预训练模型的一部分层。通常，您可以选
AIGC实战——扩散模型0.前言1.去噪扩散概率模型1.1Flowers数据集1.2正向扩散过程1.3重参数化技巧1.4扩散规划1.5逆向扩散过程2.U-Net去噪模型2.1U-Net架构2.2正弦嵌入2.3ResidualBlock2.4DownBlocks和UpBlocks3.训练扩散模型4.去噪扩散概率模型的采样5.扩散模型分析5.1生成图像5.2调整逆扩散步数5.3在图像之间进行插值小结系列链接0.前言与生成对抗网络(GenerativeAdversarialNetwork,GAN)一样，扩散模型是过去十年中最有影响力的生成模型技术之一。在许多基准测试中，当前的扩散模型已经超过了以往最
文章目录（零）AI绘图（一）简单介绍（1.1）Stable-Diffusion（1.2）Stable-DiffusionWEBUI（1.3）SD-WebUI启动器和整合包（二）使用（2.1）启动&控制台&WEBUI（2.2）基础模型（stable-diffusion模型）（2.2.1）模型文件位置（2.2.2）模型选择&模型预览图（2.3）小模型（LoRA模型）（2.3.1）模型文件位置（2.3.2）模型选择&模型预览图（2.4）小模型（嵌入式模型/Embedding/TextualInversion）（2.5）小模型（超网络模型/Hypernetwork）（2.6）提示词&模板风格（2.6.
https://github.com/runwayml/stable-diffusion?tab=readme-ov-file#reference-sampling-script对于1.5模型，其中可能包括四部分：标准模型、文本编码器、VAE模型、EMA模型。标准模型：生成图片的核心模块，潜空间中的前向扩散和反向扩散就是通过它做的，对应到图中左侧的U-Net。文本编码器：将文本提示词转换为数学向量，然后用作生成图片的引导条件。全称是TextEncoder，对应到图中的TE。VAE模型：用于图像在像素空间和潜在空间的映射，生成图片时将图像从潜在空间转换为像素图片，目前大部分模型都自带VAE。EM
推荐一款好用的模型微调工具，cybertronfurnace是一个lora训练整合包，提供训练lora模型的工具集或环境。集成环境包括必要的依赖项和配置文件、预训练脚本，支持人物、二次元、画风lora的训练，以简化用户训练lora模型的流程。支持图片预处理、图片的标签编辑，查看训练进度等功能。TensorBoard是TensorFlow提供的一个用于可视化训练过程和模型性能的工具。它可以帮助您更直观地理解模型的训练过程、模型结构、参数变化趋势以及评估指标的变化情况。使用TensorBoard，您可以做以下几件事情：可视化训练过程：您可以查看模型的损失函数随着训练步数的变化趋势，以及其他指标如准
大家好，我是程序员晓晓。提到降噪强度（denoisingstrength），大家一定不会陌生，这个参数是图生图中最关键的参数之一。今天在StableDiffusionArt网站看到一篇介绍降噪强度（denoisingstrength）的文章（地址：https://stable-diffusion-art.com/denoising-strength/），个人觉得对大家理解降噪强度这个参数非常有帮助，所以这里整理出来，希望能帮助到大家。在这里说一点题外话，不管是我们学习StableDiffusion还是其他的AI绘画工具，个人认为有两点极为重要，第一点是基础知识的学习，需要我们不断强加和精进。第
自动安装先clone代码：gitclonehttps://github.com/AUTOMATIC1111/stable-diffusion-webui要在不创建虚拟环境的情况下通过pip安装所需的包，运行：pythonlaunch.py手动安装手动安装虽有些过时，但在自动安装遇到问题的时候只能用手动安装了，我的自动安装就偶尔遇到gitclone超时的问题。安装支持CUDA的torchpipinstalltorch--extra-index-urlhttps://download.pytorch.org/whl/cu113检查一下torch是否支持gpupython-c"importtorch
