时隔两年半（2年4个月），我又回来研究生成技术了。以前学习研究GAN没结果，不管是技术上，还是应用产品上，结果就放弃了，现在基于diffusion的技术又把生成技术带上了一个新的高度。现在自己又来研究学习这方面的东西了。现在看来，以前还是自己自我定位不清晰，想搞研究，搞出研究成果来，自己能力不够，也没人带，搞不了；然后格局不够，对事物曲折变化认识不够，坚持力也不够。现在就还是面向应用进行学习研究了。当时的GAN生成效果还差一截，但是现在的完全能够达到真实效果了，并且技术使用难度也没那么大，应该能做成受欢迎产品级的效果了。一、基本概念扩散模型diffusion当前主要有四大生成模型：生成对抗模型
最近AI绘图非常火，只需要输入文本就能得到令人惊艳的图。举个例子，输入 “photoofagorgeousyoungwomaninthestyleofstefankosticanddavidlachapelle,coy,shy,alluring,evocative,stunning,awardwinning,realistic,sharpfocus,8khighdefinition,35mmfilmphotography,photorealistic,insanelydetailed,intricate,elegant,artbystanleylauandartgerm” 得到:输入“temp
最近AI绘图非常火，只需要输入文本就能得到令人惊艳的图。举个例子，输入 “photoofagorgeousyoungwomaninthestyleofstefankosticanddavidlachapelle,coy,shy,alluring,evocative,stunning,awardwinning,realistic,sharpfocus,8khighdefinition,35mmfilmphotography,photorealistic,insanelydetailed,intricate,elegant,artbystanleylauandartgerm” 得到:输入“temp
【DiffusionModels】新加坡国立大学、腾讯强强联手Tune-A-Video：One-Shot微调图像扩散模型用于文本到图像的生成！_哔哩哔哩_bilibili【DiffusionModels】新加坡国立大学、腾讯强强联手Tune-A-Video：One-Shot微调图像扩散模型用于文本到图像的生成！共计2条视频，包括：[论文代码阅读]Tune-A-Video_One-Shot微调图像扩散模型用于文本到图像的生成新加坡国立大学、腾讯、3连等，UP主更多精彩视频，请关注UP账号。https://www.bilibili.com/video/BV1q24y1V79k/?spm_id_fr
【DiffusionModels】新加坡国立大学、腾讯强强联手Tune-A-Video：One-Shot微调图像扩散模型用于文本到图像的生成！_哔哩哔哩_bilibili【DiffusionModels】新加坡国立大学、腾讯强强联手Tune-A-Video：One-Shot微调图像扩散模型用于文本到图像的生成！共计2条视频，包括：[论文代码阅读]Tune-A-Video_One-Shot微调图像扩散模型用于文本到图像的生成新加坡国立大学、腾讯、3连等，UP主更多精彩视频，请关注UP账号。https://www.bilibili.com/video/BV1q24y1V79k/?spm_id_fr
ICLR2022/扩散模型/语义分割：基于扩散模型的标签高效语义分割Label-efficientsemanticsegmentationwithdiffusionmodels0.摘要1.概述2.相关工作2.1.扩散模型2.2.基于生成模型的图像分割2.3.区分性任务生成模型的表征3.扩散模型表示3.1.表征分析3.2.基于DDPM的FEW-SHOT语义分割表示4.实验4.1.讨论5.结论附录A.预测性能的演变B.DATASETDDPM&DATASETGANC.训练设置D.每一类的IoUsE.数据集细节E.1.类别名E.2.类别的统计数据F.从MAE中提取表示论文下载开源代码0.摘要去噪扩散概
ICLR2022/扩散模型/语义分割：基于扩散模型的标签高效语义分割Label-efficientsemanticsegmentationwithdiffusionmodels0.摘要1.概述2.相关工作2.1.扩散模型2.2.基于生成模型的图像分割2.3.区分性任务生成模型的表征3.扩散模型表示3.1.表征分析3.2.基于DDPM的FEW-SHOT语义分割表示4.实验4.1.讨论5.结论附录A.预测性能的演变B.DATASETDDPM&DATASETGANC.训练设置D.每一类的IoUsE.数据集细节E.1.类别名E.2.类别的统计数据F.从MAE中提取表示论文下载开源代码0.摘要去噪扩散概
在我把所有的坑都踩了一遍之后，决定记录一下linux上的StableDiffusionwebui是怎么搞的。前提条件已安装CUDA已安装git已安装Anaconda直接安装Anaconda不要指望Linux自带的Python。虽然Linux自带的Python，但是缺胳膊少腿，所以还是直接用了conda。捣鼓好StableDiffusionWebUI需要的环境创建并激活进入虚拟环境：condacreate-nwebuipython=3.10.6condaactivatewebui成功进入虚拟环境之后就可以开搞了。下载StableDiffusionWebUI从github上下载，终端中输入：git
在我把所有的坑都踩了一遍之后，决定记录一下linux上的StableDiffusionwebui是怎么搞的。前提条件已安装CUDA已安装git已安装Anaconda直接安装Anaconda不要指望Linux自带的Python。虽然Linux自带的Python，但是缺胳膊少腿，所以还是直接用了conda。捣鼓好StableDiffusionWebUI需要的环境创建并激活进入虚拟环境：condacreate-nwebuipython=3.10.6condaactivatewebui成功进入虚拟环境之后就可以开搞了。下载StableDiffusionWebUI从github上下载，终端中输入：git
1、Latentspace隐空间是压缩数据的一个表示。数据压缩的目的是学习数据中较重要的信息。以编码器-解码器网络为例，首先使用全卷积神经网(FCN)络学习图片特征，我们将特征提取中对数据的降维看作一种有损压缩。但是由于解码器需要重建(reconstruct)数据，所以模型必须学习如何储存所有相关信息并且忽略噪音。所以压缩（降维）的好处在于可以去掉多余的信息从而关注于最关键的特征。2、AutoEncoder和VAEAutoEncoder:(1)AE是一个预训练的自编码器，自编码器的目的是数据降维，其优化目标是通过编码器压缩数据，再通过解码器还原数据，使得输入输出的数据尽量相同(2)理论上来说对
