本文将要介绍整合HuggingFace的diffusers包和ControlNet调节生成文本到图像，可以更好地控制文本到图像的生成ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。它提供了一种增强稳定扩散的方法，在文本到图像生成过程中使用条件输入，如涂鸦、边缘映射、分割映射、pose关键点等。可以让生成的图像将更接近输入图像，这比传统的图像到图像生成方法有了很大的改进。ControlNet模型可以在使用小数据集进行训练。然后整合任何预训练的稳定扩散模型来增强模型，来达到微调的目的。ControNet的初始版本带有以下预训练权重：Cannyedge—黑色背景上带有白色边缘

本文将要介绍整合HuggingFace的diffusers包和ControlNet调节生成文本到图像，可以更好地控制文本到图像的生成ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。它提供了一种增强稳定扩散的方法，在文本到图像生成过程中使用条件输入，如涂鸦、边缘映射、分割映射、pose关键点等。可以让生成的图像将更接近输入图像，这比传统的图像到图像生成方法有了很大的改进。ControlNet模型可以在使用小数据集进行训练。然后整合任何预训练的稳定扩散模型来增强模型，来达到微调的目的。ControNet的初始版本带有以下预训练权重：Cannyedge—黑色背景上带有白色边缘

✅作者简介：人工智能专业本科在读，喜欢计算机与编程，写博客记录自己的学习历程。🍎个人主页：小嗷犬的个人主页🍊个人网站：小嗷犬的技术小站🥭个人信条：为天地立心，为生民立命，为往圣继绝学，为万世开太平。本文目录图像生成stable-diffusion-webuiStableDiffusionModel本地部署安装git项目下载项目部署模型导入中文支持其他内容的安装一些生成图片的展示不同采样方法之间的比较图像生成StableDiffusionModel是一个基于扩散模型的图像生成模型。早在模型刚刚兴起的时候，博主就有所关注，尝试过本地部署，但是由于设备硬件配置限制，最终也没有能够真正的在本地跑起来。

✅作者简介：人工智能专业本科在读，喜欢计算机与编程，写博客记录自己的学习历程。🍎个人主页：小嗷犬的个人主页🍊个人网站：小嗷犬的技术小站🥭个人信条：为天地立心，为生民立命，为往圣继绝学，为万世开太平。本文目录图像生成stable-diffusion-webuiStableDiffusionModel本地部署安装git项目下载项目部署模型导入中文支持其他内容的安装一些生成图片的展示不同采样方法之间的比较图像生成StableDiffusionModel是一个基于扩散模型的图像生成模型。早在模型刚刚兴起的时候，博主就有所关注，尝试过本地部署，但是由于设备硬件配置限制，最终也没有能够真正的在本地跑起来。

前言前两天突然想搭建一个AI作图的，但是一脸懵逼，lgithub地址，结果全英也看不懂，只知道了StableDiffusion，这两天去了解了下，想要网页版就StableDiffusionWebUI，在自己笔记本上尝试搭建，找了各种教程，我这小破电脑就是各种问题，给我整崩溃了，晚上下班回来不知道看的哪个教程跟着走的时候，发现最后就快要成功了，然后。。。没办法，只能gg，自己这18年买的笔记本，8g内存镶嵌的还不能加内存条，显卡也是老的，只能想办法，刚好看到阿里云有个试用，就试用了一个月这款然后我借鉴了这个教程：https://blog.csdn.net/weixin_39955411/arti

前言前两天突然想搭建一个AI作图的，但是一脸懵逼，lgithub地址，结果全英也看不懂，只知道了StableDiffusion，这两天去了解了下，想要网页版就StableDiffusionWebUI，在自己笔记本上尝试搭建，找了各种教程，我这小破电脑就是各种问题，给我整崩溃了，晚上下班回来不知道看的哪个教程跟着走的时候，发现最后就快要成功了，然后。。。没办法，只能gg，自己这18年买的笔记本，8g内存镶嵌的还不能加内存条，显卡也是老的，只能想办法，刚好看到阿里云有个试用，就试用了一个月这款然后我借鉴了这个教程：https://blog.csdn.net/weixin_39955411/arti

v1版本：确保你至少有12G显存git:GitHub-CompVis/stable-diffusion:Alatenttext-to-imagediffusionmodelhttps://github.com/CompVis/stable-diffusiongitclonehttps://github.com/CompVis/stable-diffusion.git进入到你下载的路径condaenvcreate-fenvironment.yamlcondaactivateldm模型下载地址：CompVis/stable-diffusion-v-1-4-original·HuggingFaceW

v1版本：确保你至少有12G显存git:GitHub-CompVis/stable-diffusion:Alatenttext-to-imagediffusionmodelhttps://github.com/CompVis/stable-diffusiongitclonehttps://github.com/CompVis/stable-diffusion.git进入到你下载的路径condaenvcreate-fenvironment.yamlcondaactivateldm模型下载地址：CompVis/stable-diffusion-v-1-4-original·HuggingFaceW

博主先前整理并简单介绍了AI绘图工具的部署资源与攻略，觉得其中StableDiffusion部分不够带劲，故开始试图从论文与代码中一探究竟。前文链接如下：要点初见：AI绘图工具的部署资源、攻略整理（上篇）_BingLiHanShuang的博客-CSDN博客_ai绘图要点初见：AI绘图工具的部署资源、攻略整理（下篇）_BingLiHanShuang的博客-CSDN博客最近StableDiffusion实在是太火爆了，在B站上看up主分析论文的视频，分P分析到引言部分就戛然而止，后续视频全是各种整合包的分享与实操，单个视频的播放量也直线上升hhh在开源的强大模型前大家都是急急国王本文将分为2个部分

博主先前整理并简单介绍了AI绘图工具的部署资源与攻略，觉得其中StableDiffusion部分不够带劲，故开始试图从论文与代码中一探究竟。前文链接如下：要点初见：AI绘图工具的部署资源、攻略整理（上篇）_BingLiHanShuang的博客-CSDN博客_ai绘图要点初见：AI绘图工具的部署资源、攻略整理（下篇）_BingLiHanShuang的博客-CSDN博客最近StableDiffusion实在是太火爆了，在B站上看up主分析论文的视频，分P分析到引言部分就戛然而止，后续视频全是各种整合包的分享与实操，单个视频的播放量也直线上升hhh在开源的强大模型前大家都是急急国王本文将分为2个部分