草庐IT

Midjourney危!Stable Diffusion-XL开启公测:会画手、能写字,再也不用写长prompt了

新智元 2023-08-12 原文

自从Midjourney发布v5之后,在生成图像的人物真实程度、手指细节等方面都有了显著改善,并且在prompt理解的准确性、审美多样性和语言理解方面也都取得了进步。

相比之下,Stable Diffusion虽然免费、开源,但每次都要写一大长串的prompt,想生成高质量的图像全靠多次抽卡。

最近Stability AI的官宣,正在研发的Stable Diffusion XL开始面向公众测试,目前可以在Clipdrop平台免费试用。

试用链接:​https://clipdrop.co/stable-diffusion​

Stability AI的创始人兼首席执行官Emad Mostaque表示,目前该模型仍然处于训练阶段,等参数稳定后将会开源;SD-XL在「握手」等图像细节方面会表现更好,几乎完全可控。

Stable Diffusion XL也并不是最终发布版的名字,并且也并非是v3,因为SD-XL的架构和SD-v2系列的模型架构非常相似。

Minimalistic home gym with rubber flooring, wall-mounted TV, weight bench, medicine ball, dumbbells, yoga mats, high-tech equipment, high detail, organized and efficient.

简约的家庭健身房,橡胶地板,壁挂式电视,举重凳,药球,哑铃,瑜伽垫,高科技设备,高细节,组织和效率

下面几张SD-XL官方发布的例图,可以看出图像的质量已经非常能打了。

不过有时候less并不代表more,有网友认为SD-XL为了摆脱「糟糕的品味」,设定了太多的规则,定制化空间越来越小,不符合大多数人的喜好。目前v1.5的Stable Diffusion仍然是社区内最流行的基座模型。

网友表示希望新版SD能够和SD 2.1版本的嵌入、hypernetworkds和Lora模型保持兼容,再从零开始重训的话就太难受了。

也有网友认为,SD-XL的表现和civit网站上网友分享的模型差不多,新模型的效果也并不是特别惊艳,也就是平均水平。

SD-XL:开源版Midjourney

关于Stable Diffusion XL模型的具体信息,官方并没有透露太多,目前只知道是一个与v2模型架构相似、但规模和参数量更大的模型。

SD-v2.1包括9亿参数,SD-XL大约有23亿参数,Emad表示正式版可能会额外发布一个更小的蒸馏版本。

SD-XL相比之前版本的改进如下:

  • 使用较短的描述性prompt即可生成高质量图像
  • 可以生成更贴合prompt的图像
  • 图像中的人体结构更合理
  • 与 v2.1和 v1.5版本(程度较轻)相比,SD-XL生成的图片更符合大众审美
  • 负面提示词(negative prompt)是可选项
  • 生成的肖像图更逼真
  • 图像中的文本更清晰

需要注意的是,SD-XL可能与之前版本的插件不兼容。

清晰可读的文字

在v1系列和v2.1版本的Stable Diffusion模型中,并不具备在图片中生成可读文本的能力。

虽然SD-XL生成的文本信息并不总是准确,但确实得到了巨大的提升。

Photo of a woman sitting in a restaurant holding a menu that says “Menu”

一个女人坐在餐馆里拿着写着「Menu」的菜单

Photo of a man holding a sign that says “Stable Diffusion”

一个男人举着写着「Stable Diffusion」的牌子

a young female holding a sign that says “Stable Diffusion”, highlights in hair, sitting outside restaurant, brown eyes, wearing a dress, side light

一个年轻的女性举着一个牌子,上面写着「Stable Diffusion」,头发高亮,坐在餐厅外面,棕色的眼睛,穿着裙子,侧灯

更好的人体结构

Stable Diffusion在生成人体解剖结构方面一直存在诸多问题,多几条腿、少个胳膊实在是太常见不过的问题,通常需要使用inpaint功能进一步对图像细节进行修正;或者是使用ControlNet的Open Pose功能从参考图像中复制人体的姿态。

比如说SD-v1.5生成瑜伽的图像,经常会出现扭曲的人体。

Photo of a woman in yoga outfit, triangle pose, beach in evening, rim lighting

一个女人的照片在瑜伽服装,三角形的姿势,海滩在晚上,边缘照明

SD-XL虽然生成的图像并不完美,不过在人体姿态方面已经有了显著的进步。

更有美感(more aesthetic)

比如同样以屋子为主题,SD-XL可以生成更对称、视觉效果更好的照片。

SD-XL在肖像照片上也有显著改进。

photo shot of a woman

一个女人的照片

更贴合prompt的图像

SD-XL可以更好地理解输入的prompt,并生成更精确的图像。

比如以duotone(双色)为例,SD-v1.5只会生成黑白图像,而SD-XL则可以生成具有多种颜色的双色调图像。

与 v1模型相比,理解提示符的能力有所提高。

duotone portrait of a woman

一个女人的双色调肖像

因为SD-XL同属v2系列模型,所以文本模型尺寸更大,可以比v1模型更好地理解提示词。

比如下面的例子中,v1.5模型始终无法理解图像中的两个主题(机器人和人类),但SD-XL模型可以生成正常的图像(虽然机器人还是不够big)。

big robot friend sitting next to a human, ghost in the shell style, anime wallpaper

大机器人朋友坐在人类旁边攻壳机动队风格的动漫壁纸

a young man, highlights in hair, brown eyes, in white shirt and blue jean on a beach with a volcano in background

一个年轻人,头发染得很亮,棕色眼睛,穿着白衬衫和蓝色牛仔裤,站在海滩上,背景是一座火山

艺术风格

在艺术风格上,SD-XL并没有显著改进,和之前的版本各有千秋。

比如两个模型以不同的角度生成了Edward Hopper风格的图像。

New York city by Edward Hopper

Edward Hopper绘制的纽约

Leonid Afmov 的风格中,SD-v1.5更准确,SD-XL缺少了不同颜色的笔刷(unmistakable colorful board brushstrokes)。

New York city by Leonid Afremov

Leonid Afemov绘制的纽约

William-Adolphe Bouguereau风格中,V1.5和SDXL都可以生成一些类似的内容,其中SD-XL更接近Bouguereau创作的经典学院派绘画,并且面部细节更多。

Portrait of beautiful woman by William-Adolphe Bouguereau

William-Adolphe Bouguereau绘制的美女肖像

风格转变问题

在添加一些无关紧要的关键字后,模型的风格可能会突然转变。

比如先生成一张照片风格的图像。

a young man, highlights in hair, brown eyes, in white shirt and blue jean on a beach with a volcano in background

一个年轻人,头发染得很亮,棕色眼睛,穿着白衬衫和蓝色牛仔裤,站在海滩上,背景是一座火山

再添加一条黄色的围巾后,图像风格就变成了卡通风格。

a young man, highlights in hair, brown eyes, wearing a yellow scarf, in white shirt and blue jean on a beach with a volcano in background

一个年轻人,头发染得很亮,棕色的眼睛,围着黄色的围巾,穿着白衬衫和蓝色牛仔裤,站在一个火山为背景的海滩上

问题的故障可能源于预览问题,在正式发布后该问题不知能否得到解决。

有关Midjourney危!Stable Diffusion-XL开启公测:会画手、能写字,再也不用写长prompt了的更多相关文章

  1. 联通家庭宽带开启ipv6 - 2

    联通家庭宽带开启ipv6废话不多,直接开干首先登录联通光猫的后台,机身有写我的是http://192.168.1.1/CU.html广州家庭宽带账号密码CUAdmincuadmin00259e这里好像是默认设置,不大记得了。保存就好然后登陆路由器后台,我的是tp-link选桥模式这里的桥模式跟光猫的wan类型应该是互斥关系,光猫设置桥接,路由器就要设pppoe拨号,我没试过。然后在系统就可以查看了或者直接访问这个网址http://testipv6.com/注意1:如果你是便宜小米红米之类的路由器,他好像是默认不打开这个ipv6防火墙的,也就是你可能在系统上看到有ipv6地址,但实际上是不互通的

  2. objective-c - 不用 Mac 学习 Objective C - 2

    我没有Mac或iPhone。然而,采用C并使其更加动态地朝着smalltalk、python或ruby​​的想法发展的概念对我来说确实很有吸引力。我很乐意从Objective-C开始。Objective-C只是C的语法超集还是真的像C。比如,它可以用gcc等编译吗?我的大部分编程都是用Ruby完成的。ObjectiveC似乎比C宽容得多。您可以在C中为Ruby编写native扩展。您可以在ObjectiveC中为Ruby编写native扩展吗?除了拥有Mac/iPhone和XCode之外,我如何开始使用ObjectiveC? 最佳答案

  3. 腾讯云区块链服务平台(TBaaS)长安链体验网络公测试用感受 - 2

    前阵InfoQ社区看到腾讯云腾讯云区块链服务平台(TBaaS)长安链体验活动,一顿操作猛如虎报了个名,体验完用一个字概括:强。非要再加几个字的话,总体感受下来装配模式灵活高效,配套工具完整辩解。话不多说开始主题本文目录结构分为区块链分类和TBaaS平台介绍、TBaaS平台上链教程三个部分一、区块链分类:大体上来说,区块链可分为公链,联盟链,私有链三种:公有链(PublicBlockchain)公有链是指任何人都能参与的区块链。公有链是去中心化程度最高的区块链,不受机构控制,整个账本对所有人公开透明。任何人都能在公有链上查询交易、发送交易、参与记账。加入公有链不需要任何人授权,可以自由加入或者离

  4. Ubuntu开启SSH免密登录 - 2

    Ubuntu开启SSH免密登录要实现SSH免密登录,首先需要准备一组公钥和私钥。将公钥放到服务器上,将私钥放到客户机上。当客户机连接服务器时,服务器会根据自身的公钥校验客户机的私钥,如果校验通过则允许连接。一、创建密钥在客户机上输入以下命令创建一组公钥和私钥ssh-keygen密钥生成位置:默认会将密钥生成到当前登录用户的主目录下的.ssh文件夹中,如:/home/master/.ssh,建议使用默认位置,以便后续操作私钥密码:默认无密码,如果设置了私钥密码,在进行免密登录时需要输入私钥密码确认私钥密码:默认无密码命令执行成功后将会在指定位置生成密钥左边的id_rsa为私钥,需要留在客户机。建

  5. ruby-on-rails - 在 Ruby on Rails TestCase 中开启完整回溯 - 2

    运行时只显示一行回溯:raketest输出:...ERRORshouldgetsearchforkeywords(1.93s)NoMethodError:undefinedmethod`features'for#/usr/lib/ruby/gems/1.9.1/gems/activemodel-3.1.0/lib/active_model/attribute_methods.rb:385:in`method_missing'...我需要更多行的回溯信息。我试过了rake测试--traceRails.backtrace_cleaner.remove_silencers!在config/i

  6. 震惊!原来查找论文这么简单?再也不用担心组会不知道汇报啥了!计算机硕士新生人手必备不可不看 - 2

    目录一种简单上手的暴力论文分析方法——以区块链为例【含项目源码】太长不看版本:最终成果:情况说明论文推荐方面论文投稿方面以下是具体的实现,有其他研究方向想自行确定的请仔细阅读,授人以鱼不如授人以渔第一章、确定对象——研究热点的中国计算机研究生第二章、思路——基于爬虫结合关键字过滤暴力获取所需论文信息第一步:从CCF推荐目录中获取网址01、背景介绍02、数据预处理03、数据写入表格第二步:从中科院分区中获取期刊对应分区第三步:从期刊/会议对应网址中爬取到子网页并进入,获取到其中的标题、年份等信息第四步:针对获取到的表格数据进行分析和整理实际爬取数据量【其实就论文的标题+对应年份】

  7. javascript - 这些JS简写字符是什么意思? - 2

    这个问题在这里已经有了答案:Reference-Whatdoesthisregexmean?(1个回答)关闭7年前。我一直在努力找出这段代码的含义,但我什至找不到从哪里开始或要查找的内容。if(!/^(https?):\/\//i.test(value))我理解了一些,所以我有以下问题。“/^”有什么作用?什么是?做什么?"("和")"围绕https做了什么“:”是做什么的?“我”是做什么的?如果这似乎是一个未经研究的问题,那么任何从哪里开始的指导都会很好。

  8. javascript - 不用jquery的动画,左右滑动 - 2

    我想在显示时将div向左滑动,在隐藏时向右滑动,但我不想使用jQuery。有没有办法在不使用javascript库的情况下制作简单的动画并支持IE7和IE8?这是我的显示/隐藏js:functionshowHide(){varElliot=document.getElementById('Daniel').style.display;if(Elliot=="block"){document.getElementById('Daniel').style.display="none";}else{document.getElementById('Daniel').style.display

  9. javascript - 如何使用嵌套路由向页面添加内容而不用 react-router-v4 删除先前路由的内容? - 2

    我正在使用react-router-v4官方文档中提供的边栏示例作为灵感https://reacttraining.com/react-router/web/example/sidebar1-所以我的应用程序的初始URL将是:localhost:3000/search-page/Lists2-我有一个可点击链接列表,点击后会在边栏上显示点击数据,发生这种情况时,URL会更新:localhost:3000/search-page/Lists/itemList1selected3-然后我按下“显示列表编号2”按钮以显示新列表4-我的目标是使用嵌套路由,当我单击“列表编号2”中的链接时。它会

  10. javascript - 无法在 Chrome 中访问开启文件 - 2

    我有一个嵌入在iframe中的页面,我从该页面打开一个弹出窗口,并尝试从弹出窗口访问opener对象中的文档,在JS控制台中出现以下错误。UncaughtSecurityError:Blockedaframewithoriginhttps://fromaccessingaframewithorigin"swappedout://".Theframerequestingaccesshasaprotocolof"https",theframebeingaccessedhasaprotocolof"swappedout".Protocolsmustmatch.PS:这在某些Chrome版本中

随机推荐