YangS,ChenX,LiaoJ.Uni-paint:AUnifiedFrameworkforMultimodalImageInpaintingwithPretrainedDiffusionModel[C]//Proceedingsofthe31stACMInternationalConferenceonMultimedia.2023:3190-3199.效果展示使用不同模态引导图像Inpainting生成任务的效果。左侧是单模态引导生成，从左至右的引导条件分别为：无条件、文本、简笔画、参考图。右侧是多模态引导生成：从左至右的引导条件分别为：文本+简笔画、文本+参考图、参考图+简笔画、文本+

项目地址：https://github.com/geomagical/lama-with-refiner论文地址：https://arxiv.org/abs/2109.07161发表时间：2022年6月29日项目体验地址：https://colab.research.google.com/github/advimman/lama/blob/master/colab/LaMa_inpainting.ipynb#scrollTo=-VZWySTMeGDM解决了在高分辨率下工作的神经网络的非绘制质量的下降问题。inpainting网络往往无法在分辨率高于其训练集的情况下生成全局相干结构。这部分归因于

原文链接：2022CVPR2022MAT:Mask-AwareTransformerforLargeHoleImageInpainting [pdf] [code]本文创新点：开发了一种新颖的修复框架MAT，是第一个能够直接处理高分辨率图像的基于transformer的修复系统。提出了一种新的多头自注意力(MSA)变体，称为多头上下文注意力(MCA)，只使用有效的token来计算注意力。设计了一个风格操作模块，使模型能够通过调节卷积的权重来提供不同的预测结果。网络结构网络分为粗修复与细修复两个阶段。粗修复主要由一个卷积头，五个transformer模块和一个卷积尾构成；细修复采用一个Conv-

记录一下Lama模型的训练、infe踩坑，以及如何更改预设的mask生成方式。一、环境简单提一下，一定要按照作者给的requirements.txt里的库版本安装，hydra-core和pytorch-lightning最新版本在此项目代码上均会报错无法运行。二、预训练模型微调lama的训练全部是以配置文件.yaml的方式进行的，所以针对不同数据集的预训练模型所使用的yaml也是不同的。总体上作者是在PLACES和CelebA上进行了预训练，同时也包含了Big-Lama、Lama-fourier等多种模型细节的配置。就以在Places-Challenge效果最好的Big-Lama为例，在预训练

https://stable-diffusion-art.com/inpainting_basics/https://stable-diffusion-art.com/inpainting_basics/inpainting的应用主要是重绘，目前的模型换衣主要还是通过lora训练特定衣服来实现的。模型权重：!wgethttps://huggingface.co/runwayml/stable-diffusion-inpainting/resolve/main/sd-v1-5-inpainting.ckpt-Omodels/Stable-diffusion/sd-v1-5-inpainting.

文章目录前言mask数据集分类及介绍总结前言在ImageInpainting（图像修复）任务中，需要使用掩码数据集在图像上人为添加缺陷区域，以便在设计的深度学习上进行训练学习。mask数据集分类及介绍目前图像修复任务中最长用的数据集是来自于Liu等人2018年发布的论文ImageInpaintingforIrregularHolesUsingPartialConvolutions，该论文中提出用部分卷积解决inpainting的任务的同时，也公布了一个大型的mask数据集，该数据集在之后的Inpainting任务中被大量使用。数据集介绍：作者对mask的孔洞大小进行了分类。具体而言，作者定义了