一、功能（解决问题）1.根据文字生成图片2.根据给定的图片生成相似风格画作3.图片延展二、发展过程1.2015年斯坦福大学四位研究者提出2.2020年底加州伯克利学者改进3.2021年OpenAI结合CLIP做了进一步优化，实现了诸多AI作画功能三、应用：Dalle2（2021-2022）目前非常火爆的AI作画工具。DALL·E2四、类比（图像生成模型）当前有四大生成模型：生成对抗模型、变微分自动编码器、流模型以及扩散模型。扩散模型（diffusionmodels）是当前深度生成模型中新SOTA（Stateoftheart）。扩散模型在图片生成任务中超越了原SOTA：GAN，并且在诸多应用领域

译者|李睿审校|重楼在人工智能的广阔领域，深度学习已经彻底改变了许多领域，其中包括自然语言处理、计算机视觉和语音识别。然而，一个吸引研究人员和音乐爱好者的迷人领域是使用人工智能算法生成音乐。MusicGen是一种先进的可控文本到音乐模型之一，可以无缝地将文本提示转换为迷人的音乐作品。什么是MusicGen?MusicGen是为音乐生成设计的卓越模型，它提供了简单和可控性。与MusicLM等现有方法不同，MusicGen的突出之处在于消除了对自我监督语义表示的需要。该模型采用单级自回归Transformer架构，并使用32kHz编码器标记器进行训练。值得注意的是，MusicGen可以一次生成所有

老照片常常因为当时的技术限制而只有黑白版本。然而现代的AI技术，如DeOldify，可以让这些照片重现色彩。本教程将详细介绍如何使用DeOldify来给老照片上色。.之前介绍过基于虚拟环境的基于DeOldify的给黑白照片、视频上色，本次介绍对于新手比较友好的在Stablediffusion进行简单的上色操作。文章目录准备工作基本使用图片部分视频部分总结准备工作进入SD的扩展页面搜索DeOldify，然后点击安装即可，模型什么的会自己在使用过程中下载。安装完成之后先不要着急重启，需要添加启动参数--disable-safe-unpickle。提供一个我添加参数的方法，在SD目录下找到modul

Mac配置类别配置机型Macbookprom2核总数12核中央处理器、38核图形处理器和16核神经网络引擎内存64G系统Sonoma安装Homebrew打开终端执行（使用了国内镜像源安装）/bin/bash-c"$(curl-fsSLhttps://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"查看是否安装完成brew-v安装环境依赖brewinstallcmakeprotobufrustpython@3.10gitwget安装Conda安装从Anaconda官网下载安装包下载直接双击一步步安装即可查看是否安装成功conda--vers

1.ControlNet是什么ControlNet是StableDiffusion用于图像风格迁移和控制的一款插件，作者是2021年才本科毕业，现在在斯坦福大学读博士一年级的中国学生张吕敏。ControlNet的出现代表着AI生成开始进入真正可控的时期，而AIGC的可控性是它进入实际生产最关键的一环。在此之前，大家用了很多方法想让AI生成的结果尽可能符合要求，但都不尽如人意，ControlNet比之前img2img要更加精准和有效，可以直接提取画面的构图，人物的姿势和画面的深度信息等等。有了它的帮助，就不用频繁用提示词来碰运气抽卡式创作了。2.ControlNet作用它允许通过线稿、动作识别、

DiffusionModels专栏文章汇总：入门与实战前言：PEFT由HuggingFace荣誉出品，是现在微调大模型最常用的库之一。这篇博客首先介绍PEFTLoRA微调StableDiffusion的原理，然后讲解代码，并整理出完整可运行的脚本，已在GitHub上开源。目录原理简介参数解析代码解析

1.首先登陆谷歌云盘，上传自己的项目 左上角+号，可以上传整个文件夹、单个文件，选择自己的项目代码，上传到自定义目录2.新建Colab还是左上角的new，找到GoogleColaboratory，会新建一个Colab笔记，如下，可自行修改名字  目前就和jupyternotebook差不多的使用方法，可以新建代码段，并运行 3.配置GPU按如下，修改->笔记本设置（我的是中文的） 选择GPU，保存，等待分配GPU 4.挂载谷歌云盘输入命令fromgoogle.colabimportdrivedrive.mount('/content/drive/')会提示登录谷歌账号，登录即可5.切换到自己的

写这篇文章的主要原因是工作中需要写一个用训练好的模型批量生图的脚本，开始是想用python直接加载模型，但后来发现webui的界面中有不少好用的插件和参数，所以最终改成调用WebUI接口的方式来批量生图。Stable-diffusion的webui界面使用比较方便，但是它的api文档比较简陋，很多功能需要去看源码，所以在这里记录下主要的调用方法相关文档官方文档：https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/API运行方式#1.首先需要在webui-user.bat中给COMMANDLINE_ARGS添加--api参数#

环境启动在启动器启动前，开启启用API就可以调用通过访问APIDOCS查看完整的接口地址。请求方式POST请求体以JSON形式发送。以axios为例：constaxios=axios.create({...})constdata=JSON.stringify(params)axios.post('/sdapi/v1/txt2img',data)接口说明文生图地址：/sdapi/v1/txt2img参数说明"enable_hr":false,//是否启用高分辨率模式(HighResolutionmode)。当设置为`true`时，将使用高分辨率的生成模型。默认值为`false`。"denoisi

软件下载在b站up秋葉aaakiup很贴心有一个整合包可以直接运行。在github下载的原始版本sd-webui，下载过程遇到clip包安装失败，参考了这两个文章可以解决打开stablediffusionwebui时，提示缺少clip或clip安装不上的解决方案（windows下的操作）本地部署stable-diffusion-webui出现Couldn'tinstallgfpgan错误如果遇到类似包安装问题可以借鉴上面两个方法，一个本地安装函数包，一个改下载地址。顺便码一个xformer下载指南之后需要再用xformer安装最后自己搞好后模型加载上我的显卡mx150比较垃圾用sd1.5会爆，