环境前提系统环境ubuntu20.04uname-anvidacuda显卡驱动默认已经安装成功nvidia-smi安装配置dockerupgrade系统更新系统依赖：apt-getupgrade卸载之前的Docker环境确认是否之前安装过docker并卸载：sudoapt-getremovedockerdocker-enginedocker.iocontainerdrunc安装相关工具并添加docker阿里云源#安装相关工具sudoapt-getinstallapt-transport-httpsca-certificatescurlgnupg-agentsoftware-properties
最近图像多模态生成模型特别火，简单尝试了下。项目地址：GitHub-CompVis/stable-diffusion:Alatenttext-to-imagediffusionmodel由于本地GPU比较弱鸡，使用了Google的colab进行了简单尝试，colab地址：https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb被效果惊呆了：输入：A Ultramantakesanapinoffice. 奥特曼在办公室睡午觉。输入:monkey
1.StableDiffusion1.1用法和争议1.2许可证1.3不可控性1.4一点想法1.5用途1.6教程链接2.Setup2.1DrawThings2.2diffusionbee2.3AUTOMATIC11113.Models3.1模型名词3.2模型下载3.3.中文详解链接4.Prompts1.StableDiffusionhttps://zh.wikipedia.org/zh-cn/Stable_Diffusionhttps://en.wikipedia.org/wiki/Stable_Diffusionhttps://github.com/Stability-AI/stabledif
文章目录Gradio客制化主题上传主题至HuggingFace仓库创建huggingface空间修改README.md生成huggingface的token上传主题至huggingface在SD中使用DIY好的主题笔者DIY的一个简单的主题stable-diffusion-webui（以下简称sd）目前可谓是最火的开源的AI绘图项目，其原因首当其冲是sd提供的AI绘图功能的强大，包括但不限于文生图、图生图等能力，此外，sd的模型生态、插件生态的发展也是其受欢迎的原因之一，还有一个重要的原因是sd对于GPU的要求较低，使得大多数用户可以方便的将sd部署在自己的PC上尽情玩耍！那么，当你打开sd的
什么是StableDiffusionStableDiffusion是一种潜在扩散模型（LatentDiffusionModel），能够从文本描述中生成详细的图像。它还可以用于图像修复、图像绘制、文本到图像和图像到图像等任务。简单地说，我们只要给出想要的图片的文字描述在提StableDiffusion就能生成符合你要求的逼真的图像！StableDiffusion将“图像生成”过程转换为逐渐去除噪声的“扩散”过程，整个过程从随机高斯噪声开始，经过训练逐步去除噪声，直到不再有噪声，最终输出更贴近文本描述的图像。这个过程的缺点是去噪过程的时间和内存消耗都非常大，尤其是在生成高分辨率图像时。Stable
背景上一篇中，我们使用了PAI-Blade优化了diffusers中StableDiffusion模型。本篇，我们继续介绍使用PAI-Blade优化LoRA和Controlnet的推理流程。相关优化已经同样在 registry.cn-beijing.aliyuncs.com/blade_demo/blade_diffusion镜像中可以直接使用。同时，我们将介绍Stable-Diffusion-webui中集成PAI-Blade优化的方法。LoRA优化PAI-Blade优化LoRA的方式，与前文方法基本相同。包括：加载模型、优化模型、替换原始模型。以下仅介绍与前文不同的部分。首先，加载Stab
图生图(img2img)相较于文生图(txt2img)，因存在参考图片的基础上创作，其可控性自然更强。下面从图生图的几个应用方向出发，详述其功能特性。文章目录推提示词img重新绘制参考图Resizemode缩放模式Denoising重绘幅度Sketch绘图Inpaint局部绘制Inpaintsketch修补重绘InpaintuploadBatch推提示词顾名思义，就是通过图片反推关键词，不过作为附加功能首次使用时，需在线下载相应的模型包。有可能退出来的描述信息并不是非常准确CLIP反推，这部分主要集中在图像的描述上，通过生成相应的语句。DeepBooru反推，该部分主要针对图像内容的识别，生成
文章目录整体代码unet解析self.input_blocksmiddle_blocksself.output_blocks保姆级讲解StableDiffusion：https://mp.weixin.qq.com/s?__biz=Mzk0MzIzODM5MA==&mid=2247486486&idx=1&sn=aff9ed60bba2cbf9efd32aa68557c93b&chksm=c337b18ff4403899d24ac32a60dbfd0402aab7309e8442dabdcb14cd61cfb55ad6cc1f977b3b#rd整体代码#1、prompt编码为token。编码器
汇聚每周AI热点，不错过重要资讯！欢迎扫码，关注并订阅智源社区AI周刊。英伟达推出Magic3D，性能超过谷歌DreamFusion近一段时间，让AI生成3D点云成为业界研究的重点。谷歌曾在9月提出DreamFusion，引起广泛关注。近日，英伟达提出了Magic3D，可以从文字描述中生成3D的AI模型。整个生成过程分为三个阶段，首先团队使用eDiff作为低分辨率图像先验，获得初始3D表示。之后通过反复的抽样和渲染，来训练和优化模型，并最终抽取出3D体素。之后，研究者采用扩散模型，对第一阶段获得的粗略模型进行抽样和渲染，优化为更高分辨率的图像。最终获得高分辨率的3D生成结果。Magic3D实现
AI绘画新手魔导士在刚开始玩StableDiffusion时总会遇到各种新的概念，让人困惑，其中就包括各种模型和他们之间的关系。魔法师入门得先认识各种法师装备（各种模型），让我们遇到问题知道使用何种装备来协助自己发挥更大的效果。safetensors在了解各种模型之前，有必须先了解下safetensors，玩过的应该都认识，就是很多模型的后缀。然而各种模型的后缀五花八门，但是总是能看到safetensors的影子，让人有些缭乱。其实主要是因为safetensors支持各种AI模型，而在safetensors出现前，各种AI模型都有着自己独特的后缀。这就导致每种模型既可以使用safetensor
