草庐IT

适配Diffusers框架的全套教程来了！从T2I-Adapter到大热ControlNet

机器之心 2023-03-28 原文
在 ChatGPT 出圈不久，ControlNet 的横空出世很快在英文和中文互联网收获了众多开发者和普通用户，甚至有用户宣传 ControlNet 的出现将 AI 创作带入了直立行走的时代。不夸张地说，包括 ControlNet 在内，同期的 T2I-Adapter、Composer， 以及 LoRA 训练技巧，可控生成作为 AI 创作最后一道高墙，极有可能在可预见的时间内有进一步突破，从而极大地降低用户的创作成本，提高创作的可玩性。距离 ControlNet 开源仅仅过去两周，其官方 Star 就已经超过 1 万，这种热度无疑是空前的。

与此同时，开源社区也极大地降低了用户的使用门槛，如 Hugging Face 平台提供了基础模型权重以及通用的模型训练框架 diffusers，stable-diffusion-webui 开发了完善的一套 Demo 平台，Civitai 贡献了海量风格化 LoRA 权重。

尽管 webui 作为目前最受欢迎的可视化工具，已经快速地支持了近期推出的各种生成模型，并且支持众多选项供用户设置。由于其重点考虑了前端界面的易用性，背后代码结构其实十分复杂，对于开发者而言不够友好。比如 webui 尽管支持了多种类型的加载和推理，但却无法支持不同框架下的转换，也无法支持模型的灵活训练。我们在社区讨论中发现了许多现有开源代码暂未解决的痛点。

首先，代码框架不兼容，目前热门的模型，如 ControlNet、T2I-Adapter，与主流的 Stable Diffusion 训练库 diffusers 不兼容，ControlNet 预训练的模型无法直接在 diffusers 框架中被使用。

其次，模型加载受限，目前模型保存格式多样，如.bin、.ckpt、.pth、.satetensors 等，除了 webui 外，目前 diffusers 框架对于这些模型格式的支持还有限，考虑到 LoRA 大部分模型以 safetensors 保存为主，用户很难直接将 LoRA 的模型加载到已有的基于 diffusers 框架训练的模型中。

第三，基础模型受限，目前 ControlNet、T2I-Adapter 均基于 Stable-Diffusion-1.5 进行训练，且仅开源了 SD1.5 下的模型权重，考虑到特定场景，已经存在诸如 anything-v4、ChilloutMix 等优质动漫模型，即使引入了可控信息，最终生成结果仍然受限于 SD1.5 中 UNet 的能力。

最后，模型训练受限，目前 LoRA 已经被广泛验证是风格迁移、保持特定形象 IP 最有效的方法之一，但 diffusers 框架目前仅支持 UNet 的 LoRA 嵌入，无法支持 text encoder 的嵌入，会限制 LoRA 的训练。

我们和开源社区讨论后，了解到 diffusers 框架作为通用代码库，正计划同时适配近期不断推出的生成模型；由于涉及较多底层接口重写，仍然需要一段时间更新。为此，我们从以上实际存在的问题出发，率先提出了对于每一个问题的自研解决方案，快速帮助开发者更容易地开发。

LoRA、ControlNet、T2I-Adapter 到 diffusers 的全适配方案

LoRA for diffusers

本方案是为了在 diffusers 框架，即基于 diffusers 训练保存的模型中，灵活嵌入各种格式的 LoRA 权重。由于 LoRA 的训练通常冻结 base model，因此可以作为可插拔模块轻松嵌入已有模型，作为风格或 IP 条件约束。LoRA 本身是一种通用的训练技巧，它的基本原理是，通过低秩分解，可以极大地减少模块的参数量，目前在图像生成中，一般用于训练独立于 base model 外的可插拔模块，实际使用是以残差形式与 base model 的输出合并。

首先是 LoRA 权重的嵌入，目前 Civitai 平台上提供的权重主要以 ckpt 或 safetensors 格式存储，分以下两种情况。

（1）Full model（base model + LoRA 模块）

如果 full model 是 safetensors 格式，可以通过以下 diffusers 脚本转换

python ./scripts/convert_original_stable_diffusion_to_diffusers.py --checkpoint_path xxx.safetensors --dump_path save_dir --from_safetensors
如果 full model 是 ckpt 格式，可以通过以下 diffusers 脚本转换

python ./scripts/convert_original_stable_diffusion_to_diffusers.py --checkpoint_path xxx.ckpt --dump_path save_dir
转换完成后，可直接利用 diffusers 的 API 进行模型加载

from diffusers import StableDiffusionPipeline
pipeline = StableDiffusionPipeline.from_pretrained (save_dir,torch_dtype=torch.float32)
（2）LoRA only （仅包含 LoRA 模块）

目前 diffusers 官方无法支持仅加载 LoRA 权重，而开源平台上的 LoRA 权重基本以这种形式存储。本质上是完成 LoRA 权重中 key-value 的重新映射，使其适配到 diffusers 模型中。为此，我们自行支持这个功能，提供了转换脚本。

pipeline = StableDiffusionPipeline.from_pretrained (model_id,torch_dtype=torch.float32)
model_path = "onePieceWanoSagaStyle_v2Offset.safetensors"
state_dict = load_file (model_path)
只需要指定 diffusers 格式的模型，以及存储为 safetensors 格式的 LoRA 权重。我们提供了一个转换示例。

# the default mergering ratio is 0.75, you can manually set it
python convert_lora_safetensor_to_diffusers.py
此外，LoRA 本身由于其轻量化，可以在小数据情况下快速完成训练，并能够嵌入到其他网络中。为了不局限于已有 LoRA 权重，我们在 diffusers 框架中支持了 LoRA 的多模块（UNet+text encoder）训练，并已经在官方代码库提交 PR（https://github.com/huggingface/diffusers/pull/2479），并支持了 ColossalAI 中训练 LoRA。

代码开源在：https://github.com/haofanwang/Lora-for-Diffusers

ControlNet for diffusers

本方案是为了支持在 diffusers 框架中，使用 ControlNet。基于开源社区的部分尝试，我们提供了完整的 ControlNet+Anything-V3 使用用例，支持将 base model 从原本 SD1.5 的替换到 anything-v3 模型，使 ControlNet 具备较好动漫生成的能力。

此外，我们也支持 ControlNet+Inpainting，并提供了适配 diffusers 的 pipeline，

以及多条件控制的 Multi-ControlNet。

代码开源在：https://github.com/haofanwang/ControlNet-for-Diffusers

T2I-Adapter for diffusers

与 ControlNet 相似，我们也同时支持了同期开源的 T2I-Adapter 到 diffusers 的适配。

代码开源在：https://github.com/haofanwang/T2I-Adapter-for-Diffusers

目前以上三种适配方案均已经向社区开源，并在 ControlNet、T2I-Adapter 中被官方分别致谢，也收到了来自 stable-diffusion-webui-colab 作者的感谢。我们正在与 diffusers 官方保持讨论，会在近期完成以上方案向官方代码库的集成工作。也欢迎大家提前尝试我们的工作，有任何问题均可以直接提 issue，我们会尽快回复。

适配T2I-Adapterspanstylefont-size人工智能新闻$代码开发

有关适配Diffusers框架的全套教程来了！从T2I-Adapter到大热ControlNet的更多相关文章

  1. ruby - Sinatra + Heroku + Datamapper 使用 dm-sqlite-adapter 部署问题 - 2

    出于某种原因，heroku尝试要求dm-sqlite-adapter，即使它应该在这里使用Postgres。请注意，这发生在我打开任何URL时-而不是在gitpush本身期间。我构建了一个默认的Facebook应用程序。gem文件:source:gemcuttergem"foreman"gem"sinatra"gem"mogli"gem"json"gem"httparty"gem"thin"gem"data_mapper"gem"heroku"group:productiondogem"pg"gem"dm-postgres-adapter"endgroup:development,:t

  2. ruby-on-rails - 我应该使用哪个适用于 Ruby 的 CouchDB 适配器？ - 2

    一些我找到的选项是ActiveCouchCouchRESTCouchPotatoRelaxDBcouch_foo我更喜欢GitHub上的项目，因为这让我更容易fork和推送修复。所有这些都符合该要求。我习惯了Rails，所以我喜欢像ActiveRecord模型一样工作的东西。另一方面，我也不希望我和Couch之间太多--毕竟我使用它作为我的数据库是有原因的。最后，它们似乎都得到了相当积极的维护(couch_foo可能是个异常(exception))。所以我想这归结为(不可否认和不幸的)主观:有没有人对他们有过好的或坏的经历？ 最佳答案

  3. ruby-on-rails - 具有六边形架构和 DCI 模式的框架和数据库适配器 - 2

    我尝试用Ruby设计一个基于Web的应用程序。我开发了一个简单的核心应用程序，在没有框架和数据库的情况下在六边形架构中实现DCI范例。核心六边形中有小六边形和网络，数据库，日志等适配器。每个六边形都在没有数据库和框架的情况下自行运行。在这种方法中，我如何提供与数据库模型和实体类的关系作为独立于数据库的关系。我想在将来将框架从Rails更改为Sinatra或数据库。事实上，我如何在这个核心Hexagon中实现完全隔离的rails和mongodb的数据库适配器或框架适配器。有什么想法吗？ 最佳答案 ROM呢？(Ruby对象映射器)。还有

  4. ruby-on-rails - 使用 PostgreSQL 适配器限制 ActiveRecord 迁移 5.0 中的文本列 - 2

    我的迁移看起来像这样classCreateQuestionings现在，当我运行$rakedb:migrate:reset时，在我的db/schema.rb中看不到限制:create_table"questionings",force::cascadedo|t|t.text"body",null:falseend我做错了吗还是这是一个错误？顺便说一下，我使用的是rails5.0.0.beta3和ruby​​2.3.0p0。 最佳答案 t.text在PostgreSQL和textdoesn'tallowforsizelimits中生成

  5. ruby - 安装 dm-mysql-adapter 时出错 - 2

    我是Ruby的新手。我安装了DataMapper并且正在尝试安装dm-mysql-adapter-1.0.2gem。但是当我尝试安装时，出现以下错误。我正在使用ubuntu操作系统。vinoth@vinoth-laptop:~/Downloads$geminstalldm-mysql-adapter-1.0.2----with-mysql-lib=/usr/lib/mysql----with-mysql-conf=/usr/bin/mysqlWARNING:Installingto~/.gemsince/home/vinoth/gemsand/home/vinoth/gems/bina

  6. ruby - "HTTPI tried to user the httpi adapter"使用 Savon SOAP 库时出错 - 2

    我正在使用Savon为SOAP服务编写一个Ruby接口(interface)。它似乎正在工作，但我在命令行上出现了几条DEBUG消息D,[2011-02-15T16:33:32.664620#4140]DEBUG--:HTTPI尝试使用httpclient适配器，但无法在LOAD_PATH中找到库。后退现在使用net_http适配器。D,[2011-02-15T16:33:32.820863#4140]DEBUG--:HTTPI使用net_http适配器执行HTTPPOST我不确定为什么会出现这些消息，或者它们的含义。有什么想法吗？ 最佳答案

  7. iOS适配Unity-2019 - 2

    iOS适配Unity-2019背景由于2019起，Unity的Xcode工程，更改了项目结构。Unity2018的结构：可以看Targets只有一个Unity-iPhone，Unity-iPhone直接依赖管理三方库。Unity2019以后：Targets多了一个UnityFramework，UnityFramework管理三方库，Unity-iPhone依赖于UnityFramwork。所以升级后，会有若干的问题，以下是对问题的解决方式。问题一错误描述error:exportArchive:Missingsigningidentifierat"/var/folders/fr//T/Xcode

  8. ruby - gem 安装 dm-postgres-adapter 构建错误 - 2

    我正在尝试构建dm-postgres-adapter但出现此错误。sudogeminstalldm-postgres-adapterBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingdm-postgres-adapter:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcheckingformain()in-lpq...y

  9. Ruby Guard 问题 - 'Please install the sqlite3 adapter' - railstutorial.org - 2

    我正在关注RubyonRailsTutorial并且在测试部分变得有些困惑，特别是-3.6.2-AutomatedtestswithGuard按照部署到Heroku的教程说明，我已切换到Postgresql并从我的gemfile中删除了sqlite3，并进行了捆绑安装以进行更新。但是，一旦我运行bundleexecguard我收到消息:/Users/username/.rvm/gems/ruby-1.9.3-p125@global/gems/bundler-1.1.3/lib/bundler/rubygems_integration.rb:147:inblockinreplace_ge

  10. ruby-on-rails - ActiveRecord .... activerecord-mysql-adapter - 2

    这让我发疯。我正在尝试创建一个简单的初学者应用程序，利用ActiveRecord来执行简单的数据库任务。我没有使用Rails。我不断收到错误:RuntimeError:Pleaseinstallthemysqladapter:`geminstallactiverecord-mysql-adapter`(Couldnotfindmysql(~>2.8.1)amongst[actionmailer-3.1.3,actionpack-3.1.3,activemodel-3.1.3,activerecord-3.1.3,activerecord-sqlserver-adapter-3.1.4,

随机推荐