草庐IT

Stable Diffusion WebUI安装ControlNet插件

培根芝士 2024-01-24 原文

ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。

sd-webui-controlnet下载地址：

GitHub - Mikubill/sd-webui-controlnet: WebUI extension for ControlNetWebUI extension for ControlNet. Contribute to Mikubill/sd-webui-controlnet development by creating an account on GitHub.https://github.com/Mikubill/sd-webui-controlnet

安装ControlNet插件

打开 WebUI 界面 http://127.0.0.1:7860/

  1. 点击 "Extensions" 选项卡
  2. 点击 "Install from URL" 选项卡
  3. 将 sd-webui-controlnet 的git地址粘贴到 "URL for extension's git repository"下面的输入框
  4. 点击 "Install" 按钮
  5. 重启 Web UI

安装成功后，插件位于WebUI目录的extensions\sd-webui-controlnet

下载ControlNet模型

ControlNet模型地址：

https://huggingface.co/lllyasviel/ControlNethttps://huggingface.co/lllyasviel/ControlNet

将下载的模型放到 extensions\sd-webui-controlnet\models 目录下

  1. 打开WebUI界面，展开ControlNet，勾选Enable
  2. 将Preprocessor（预处理器）选择canny，Model选择control_sd15_canny
  3. 拖拽一张图进来，填写Prompt
  4. 点击生成

会得到一个线稿图和一个新生成的同样构图的画图。

ControlNet模型说明：

  • ControlNet/models/control_sd15_canny.pth

Canny模型，可以根据边缘检测，从参考图中提取线稿，再根据提示词，来生成同样构图的画面。

  • ControlNet/models/control_sd15_hed.pth

held模型，和canny相似，它使用软Hed边界保留输入图像中的细节，绘制的人物明暗对比明显，轮廓感更强，适合在保持原来构图的基础上对画面风格进行改变时使用

  • ControlNet/models/control_sd15_scribble.pth

scribble模型，涂鸦成图，比Canny自由发挥程度更高，可以用于对手绘线稿进行着色处理。

  • ControlNet/models/control_sd15_depth.pth

depth模型，从参考图中提取深度图，进而生成具有同样深度结构的图。该模型可以较好的掌握图片内的复杂3维结构层次，并将其复现。当原图中的人物有前后关系时，depth的效果更好。

  • ControlNet/models/control_sd15_normal.pth

normal模型，提取参考图中3D物体的法线向量，以法线为参考绘制出一副新图，此图与原图的光影效果完全相同。适用于3维制图，用于法线贴图，立体效果。比depth模型对于细节的保留更加精确，因为能很好地抓取物体形状，所以可以用来更换图片背景。

  • ControlNet/models/control_sd15_openpose.pth

openpose模型，从参考图中提取人物的姿势，然后依据提示词生成一副相同姿势的图片。用户也可以直接输入一张姿势图。

  • ControlNet/models/control_sd15_seg.pth

seg模型，通过对参考图内容进行语义分割，可以区分画面色块，适用于潦草草图上色和大场景的画风更改

  • ControlNet/models/control_sd15_mlsd.pth

mlsd模型，可以进行直线检测，通过分析参考图的线条结构来构建出建筑外框，适合建筑设计的使用。

ControlNetDiffusionxff0cxff0stable diffusion

有关Stable Diffusion WebUI安装ControlNet插件的更多相关文章

  1. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  2. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件？ - 2

    在选择我想要运行操作的频率时，唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案，但您可以安排它每天运行，并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/8692687/

  3. ruby-on-rails - 无法使用 Rails 3.2 创建插件？ - 2

    我对最新版本的Rails有疑问。我创建了一个新应用程序(railsnewMyProject)，但我没有脚本/生成，只有脚本/rails，当我输入ruby./script/railsgeneratepluginmy_plugin"Couldnotfindgeneratorplugin.".你知道如何生成插件模板吗？没有这个命令可以创建插件吗？PS:我正在使用Rails3.2.1和ruby​​1.8.7[universal-darwin11.0] 最佳答案 随着Rails3.2.0的发布，插件生成器已经被移除。查看变更日志here.现在

  4. ruby - 完全离线安装RVM - 2

    我打算为ruby​​脚本创建一个安装程序，但我希望能够确保机器安装了RVM。有没有一种方法可以完全离线安装RVM并且不引人注目(通过不引人注目，就像创建一个可以做所有事情的脚本而不是要求用户向他们的bash_profile或bashrc添加一些东西)我不是要脚本本身，只是一个关于如何走这条路的快速指针(如果可能的话)。我们还研究了这个很有帮助的问题:RVM-isthereawayforsimpleofflineinstall?但有点误导，因为答案只向我们展示了如何离线在RVM中安装ruby。我们需要能够离线安装RVM本身，并查看脚本https://raw.github.com/wayn

  5. ruby-on-rails - rails 目前在重启后没有安装 - 2

    我有一个奇怪的问题:我在rvm上安装了ruby​​onrails。一切正常，我可以创建项目。但是在我输入“railsnew”时重新启动后，我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(

  6. ruby - 如何为 emacs 安装 ruby​​-mode - 2

    我刚刚为fedora安装了emacs。我想用emacs编写ruby。为ruby​​提供代码提示、代码完成类型功能所需的工具、扩展是什么？ 最佳答案 ruby-mode已经包含在Emacs23之后的版本中。不过，它也可以通过ELPA获得。您可能感兴趣的其他一些事情是集成RVM、feature-mode(Cucumber)、rspec-mode、ruby-electric、inf-ruby、rinari(用于Rails)等。这是我当前用于Ruby开发的Emacs配置:https://github.com/citizen428/emacs

  7. ruby-on-rails - 无法在centos上安装therubyracer(V8和GCC出错) - 2

    我正在尝试在我的centos服务器上安装therubyracer，但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e

  8. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  9. ruby - 如何在 Lion 上安装 Xcode 4.6，需要用 RVM 升级 ruby - 2

    我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby，并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121

  10. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题，我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

随机推荐