草庐IT

[AI绘图教程]stable-diffusion webui加载模型与插件. 实战AI绘画

procoder338 2023-10-26 原文

之前讲了stable diffusion webui搭建,这里主要介绍使用方法以及模型,扩展等.

模型下载

主要下载网址

  • HuggingFace:Stable Diffusion、ControlNet的官方仓库。
  • Civitai:里面多是Lora或其它NSFW等模型的仓库。

这里下载anythingV4的模型,在Huggingface网站中搜索,

下载后放在stable-diffusion-webui\models\Stable-diffusion中

其他的模型也类似.

NovelAI模型也类似,需要下载相关模型.可以在Huggingface上搜索,如果实在找不到可以后台私信我.接下来介绍一些比较有意思的模型以及有用的插件

NovelAI

官网NovelAI - The AI Storyteller可以自己在网站上尝试

如果是本地部署的话,下载模型即可,可以参考这个网站Stable Diffusion NovelAI模型下载 - openAI

但这个模型貌似是泄露出来的,不能在huggingface上直接下载到,所以可以自己在网上搜搜.

loraAI

首先需要下载一个基础模型,然后再下载你想要的lora模型.

一般的基础模型是chilloutmix,在下载好这个模型后可以自己选择喜欢的lora模型.

一般的基础模型是chilloutmix,在下载好这个模型后可以自己.选择喜欢的lora模型,下载后放到models/Lora中.

我这里使用chilloutmix_Ni作为基础模型,然后点击右边的show extra networks,可以看见下面的Lora模型,点击使用,再加上自己的prompt即可.

正向词

 <lora:yaeMikoRealistic_yaemikoMixed:1>masterpiece,((8k, RAW photo, highest quality, masterpiece), High detail RAW color photo professional close-up photo, (realistic, photo realism:1. 37), (highest quality), (best shadow), (best illustration), ultra high resolution, physics-based rendering, cinematic lighting), 1girl, petite, (ulzzang-6500:0.7), yae miko \(fox\), yae miko \(cosplay\), yae miko, smile, thick lips, narrow waist, shiny skin, pink hair, face_focus, (from side), depth of field, (long hair), bare shoulders, detached sleeves, hair ornament, earrings, bare thighs, (sideboob:1.65), upper body, east asian architecture, covered nipples

反向词

bright lantern, brightness, (nipples:1.2), pussy, EasyNegative, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans,extra fingers, fewer fingers, strange fingers, bad hand, strange leg, strange thighs, ((between breasts)), (cleavage:1.5), bra,

感觉不到一分钟就出图了.我的GPU显存4G,GTX1650

怎么样,还不错吧

参考LORA模型使用教程及模型下载 Stable Diffusion WebUI - openAI

ControlNet

下载插件

可以直接在stable diffusion webui中下载扩展,扩展名字是sd-webui-controlnet

下载方式跟之前下载中文支持类似

同时推荐安装OpenPose Editor用于编辑人物姿势

下载模型

网站lllyasviel/ControlNet at main (huggingface.co)

模型名称模型描述
control_sd15_canny.pth适用于给线稿上色,或将图片转化为线搞后重新上色,比较适合人物。
control_sd15_depth.pth创造具有景深的中间图,建筑人物皆可使用。 Stability的模型64×64深度,ControlNet模型可生成512×512深度图。
control_sd15_hed.pth提取的图像目标边界将保留更多细节,此模型适合重新着色和风格化。
control_sd15_mlsd.pth该模型基本不能识别人物的,但非常适合建筑生成,根据底图或自行手绘的线稿去生成中间图,然后再生成图片。
control_sd15_normal.pth根据底图生成类似法线贴图的中间图,并用此中间图生成建模效果图。 此方法适用于人物建模和建筑建模,但更适合人物建模。
control_sd15_openpose.pth根据图片生成动作骨骼中间图,然后生成图片,使用真人图片是最合适的,因为模型库使用的真人素材
control_sd15_scribble.pth使用人类涂鸦控制SD。该模型使用边界边缘进行训练,具有非常强大的数据增强功能,以模拟类似于人类绘制的边界线。
control_sd15_seg.pth使用语义分割来控制SD,协议是ADE20k。 现在您需要输入图像,然后一个名为Uniformer的模型将为您检测分割。

这里一个模型就是5.71G,由于磁盘空间有限,所以我这里选择其中一个即可.

注意模型需要放在controlnet扩展目录下的models中

使用

下载后刷新,界面会出现ControlNet

利用刚才的图像,将刚才的图像拖到ControlNet中,勾选启用,预处理器选择openpose,模型选择对应的control_openpose的模型,其他的可以不动.然后点击预览预处理结果.

这样就得到对应的骨骼姿势了,输入不同的prompt,点击生成可以通过这个骨骼姿势得到其他图像.下载了的预处理器如下

预处理名称对应模型模型描述
cannycontrol_canny边缘检测
depthcontrol_depth深度检测
hedcontrol_hed边缘检测但保留更多细节,适合重新着色和风格化。
mlsdcontrol_mlsd线段识别,识别人物功能极差,非常适合建筑。
normal_mapcontrol_normal根据图片生成法线贴图,非常适合CG建模师。
openposecontrol_openpose提取人物骨骼姿势
openpose_handcontrol_openpose提取人物+手部骨骼姿势
scribblecontrol_openpose提取黑白稿
fake_scribblecontrol_scribble涂鸦风格提取(很强大的模型)
segmentationcontrol_seg语义分割

除了使用openpose还有其他模型可用,比如使用Canny提取线稿

还有使用Scribble模型涂鸦绘画等等.这里就不详细说了

插件下载

提示词补全

能在输入Tag时提供booru风格(如Danbooru)的TAG自动补全。因为有一些模型是基于这种TAG风格训练的(例如Waifu Diffusion),因此使用这些Tag能获得较为精确的效果。

a1111-sd-webui-tagcomplete/README_ZH.md at main · DominikDoom/a1111-sd-webui-tagcomplete (github.com)

git clone "https://github.com/DominikDoom/a1111-sd-webui-tagcomplete.git" extensions/tag-autocomplete

openpose editor

下载插件即可,可用于编辑ControlNet得到的骨骼图.

骨架人偶Posex

hnmr293/posex: Posex - Estimated Image Generator for Pose2Image (github.com)

使用方法

点击:选择身体

左拽:移动关节(选中关节点)或者旋转视角

右拽:移动整个身体(如果选中身体)或者移动视角

鼠标滚轮:放大缩小

手部模型

jexom/sd-webui-depth-lib: Depth map library for use with the Control Net extension for Automatic1111/stable-diffusion-webui (github.com)

不定期更新,欢迎关注点赞.⭐️

参考资料

  1. AI绘画|ControlNet安装教程及模型下载|Stable Diffusion WebUI高阶教程 - openAI
  2. Stable Diffusion WebUI實用AI繪圖擴充功能介紹 | Ivon的部落格 (ivonblog.com)
  3. AI绘画新突破-ControlNet精准控图 - 知乎 (zhihu.com)

有关[AI绘图教程]stable-diffusion webui加载模型与插件. 实战AI绘画的更多相关文章

  1. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件? - 2

    在选择我想要运行操作的频率时,唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案,但您可以安排它每天运行,并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/8692687/

  2. ruby-on-rails - 无法使用 Rails 3.2 创建插件? - 2

    我对最新版本的Rails有疑问。我创建了一个新应用程序(railsnewMyProject),但我没有脚本/生成,只有脚本/rails,当我输入ruby./script/railsgeneratepluginmy_plugin"Couldnotfindgeneratorplugin.".你知道如何生成插件模板吗?没有这个命令可以创建插件吗?PS:我正在使用Rails3.2.1和ruby​​1.8.7[universal-darwin11.0] 最佳答案 随着Rails3.2.0的发布,插件生成器已经被移除。查看变更日志here.现在

  3. ruby - 如何在续集中重新加载表模式? - 2

    鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende

  4. ruby - RuntimeError(自动加载常量 Apps 多线程时检测到循环依赖 - 2

    我收到这个错误:RuntimeError(自动加载常量Apps时检测到循环依赖当我使用多线程时。下面是我的代码。为什么会这样?我尝试多线程的原因是因为我正在编写一个HTML抓取应用程序。对Nokogiri::HTML(open())的调用是一个同步阻塞调用,需要1秒才能返回,我有100,000多个页面要访问,所以我试图运行多个线程来解决这个问题。有更好的方法吗?classToolsController0)app.website=array.join(',')putsapp.websiteelseapp.website="NONE"endapp.saveapps=Apps.order("

  5. ruby-on-rails - 使用 config.threadsafe 时从 lib/加载模块/类的正确方法是什么!选项? - 2

    我一直致力于让我们的Rails2.3.8应用程序在JRuby下正确运行。一切正常,直到我启用config.threadsafe!以实现JRuby提供的并发性。这导致lib/中的模块和类不再自动加载。使用config.threadsafe!启用:$rubyscript/runner-eproduction'pSim::Sim200Provisioner'/Users/amchale/.rvm/gems/jruby-1.5.1@web-services/gems/activesupport-2.3.8/lib/active_support/dependencies.rb:105:in`co

  6. 基于C#实现简易绘图工具【100010177】 - 2

    C#实现简易绘图工具一.引言实验目的:通过制作窗体应用程序(C#画图软件),熟悉基本的窗体设计过程以及控件设计,事件处理等,熟悉使用C#的winform窗体进行绘图的基本步骤,对于面向对象编程有更加深刻的体会.Tutorial任务设计一个具有基本功能的画图软件**·包括简单的新建文件,保存,重新绘图等功能**·实现一些基本图形的绘制,包括铅笔和基本形状等,学习橡皮工具的创建**·设计一个合理舒适的UI界面**注明:你可能需要先了解一些关于winform窗体应用程序绘图的基本知识,以及关于GDI+类和结构的知识二.实验环境Windows系统下的visualstudio2017C#窗体应用程序三.

  7. ruby-on-rails - 从应用程序中自定义文件夹内的命名空间自动加载 - 2

    我们目前正在为ROR3.2开发自定义cms引擎。在这个过程中,我们希望成为我们的rails应用程序中的一等公民的几个类类型起源,这意味着它们应该驻留在应用程序的app文件夹下,它是插件。目前我们有以下类型:数据源数据类型查看我在app文件夹下创建了多个目录来保存这些:应用/数据源应用/数据类型应用/View更多类型将随之而来,我有点担心应用程序文件夹被这么多目录污染。因此,我想将它们移动到一个子目录/模块中,该子目录/模块包含cms定义的所有类型。所有类都应位于MyCms命名空间内,目录布局应如下所示:应用程序/my_cms/data_source应用程序/my_cms/data_ty

  8. postman接口测试工具-基础使用教程 - 2

    1.postman介绍Postman一款非常流行的API调试工具。其实,开发人员用的更多。因为测试人员做接口测试会有更多选择,例如Jmeter、soapUI等。不过,对于开发过程中去调试接口,Postman确实足够的简单方便,而且功能强大。2.下载安装官网地址:https://www.postman.com/下载完成后双击安装吧,安装过程极其简单,无需任何操作3.使用教程这里以百度为例,工具使用简单,填写URL地址即可发送请求,在下方查看响应结果和响应状态码常用方法都有支持请求方法:getpostputdeleteGet、Post、Put与Delete的作用get:请求方法一般是用于数据查询,

  9. 在VMware16虚拟机安装Ubuntu详细教程 - 2

    在VMware16.2.4安装Ubuntu一、安装VMware1.打开VMwareWorkstationPro官网,点击即可进入。2.进入后向下滑动找到Workstation16ProforWindows,点击立即下载。3.下载完成,文件大小615MB,如下图:4.鼠标右击,以管理员身份运行。5.点击下一步6.勾选条款,点击下一步7.先勾选,再点击下一步8.去掉勾选,点击下一步9.点击下一步10.点击安装11.点击许可证12.在百度上搜索VM16许可证,复制填入,然后点击输入即可,亲测有效。13.点击完成14.重启系统,点击是15.双击VMwareWorkstationPro图标,进入虚拟机主

  10. 微信小程序开发入门与实战(Behaviors使用) - 2

    @作者:SYFStrive @博客首页:HomePage📜:微信小程序📌:个人社区(欢迎大佬们加入)👉:社区链接🔗📌:觉得文章不错可以点点关注👉:专栏连接🔗💃:感谢支持,学累了可以先看小段由小胖给大家带来的街舞👉微信小程序(🔥)目录自定义组件-behaviors    1、什么是behaviors    2、behaviors的工作方式    3、创建behavior    4、导入并使用behavior    5、behavior中所有可用的节点    6、同名字段的覆盖和组合规则总结最后自定义组件-behaviors    1、什么是behaviorsbehaviors是小程序中,用于实现

随机推荐