目录一.引言二.Real-ESRGAN理论1.模型简介2.经典退化模型◆ 退化过程全览◆K-高斯滤波◆N-噪声◆↓r-Resize◆jpeg-压缩3.高阶退化模型4.环形和超调伪影5.网络结构◆ ESRGAN生成器◆ U-Net鉴别器三.Real-ESRGAN实战1.快速体验2.环境搭建◆ Package安装◆ 预训练模型下载◆GFP-GAN模型下载3.图像修复◆运行脚本◆ 显存不足◆ HalfError4.视频修复◆ 运行脚本◆ 修复思考 四.总结一.引言前面我们介绍了GFP-GAN，其通过检测目标脸部轮廓提升图片中人物的画面质量。今天介绍的Real-ESRGAN[TrainingReal-
1前言 图像超分是一种图像处理技术，旨在提高图像的分辨率，使其具有更高的清晰度和细节。这一技术通常用于图像重建、图像恢复、图像增强等领域，可以帮助我们更好地理解和利用图像信息。图像超分技术可以通过多种方法实现，包括插值算法、深度学习等。其中，深度学习的方法在近年来得到了广泛的关注和应用。基于深度学习的图像超分技术，可以利用深度神经网络学习图像的高频部分，从而提高了图像的分辨率和清晰度。 目前应用较多的应用场景是图像及视频分辨率提高，比如可以提高以往影视作品或图像的分辨率，提高视觉感官效果；或是解决视频经有损压缩后导致视频效果退化问题。今天给大家介绍一下腾讯ARC实验
1Real-ESRGAN介绍1.1Real-ESRGAN是什么？Real-ESRGAN全名为EnhancedSuper-ResolutionGAN：增强的超分辨率的对抗生成网络，是由腾讯ARC实验室发布的一个盲图像超分辨率模型，它的目标是开发出实用的图像/视频修复算法，Real-ESRGAN是在ESRGAN的基础上使用纯合成数据来进行训练的，基本上就是通过模拟高分辨率图像变低分辩率过程中的各种退化，然后再通过低清图倒推出它的高清图，简单说你也可以把它理解为一个图像/视频修复、放大工具。github地址：Real-ESRGAN论文地址：Real-ESRGAN:TrainingReal-World
目录一、介绍二、重点创新1.ESRGAN 2.Real-ESRGAN三、生成器结构1.整体结构2.RRDB结构四、判别器结构五、高阶退化模型六、损失函数1.生成模型损失函数2.判别模型损失函数一、介绍 超分辨率(Super-Resolution)指通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程。通俗的说就是在保持原图像清晰度不变的前提下，将图像放大。使用深度学习模型进行超分已经是比较常用的手段，而且深度学习模型又一个好处，可以在数据增强的时候对数据进行退化处理，在超分的时候也可以做去模糊、去噪、去划痕等操作。
Real-ESRGAN:EnhancedSuper-ResolutionGAN：增强的超分辨率的对抗生成网络，对于GAN相信大家都比较熟悉，前有阿尔法狗，现有很多GAN的延伸版本，StyleGAN1~3系列以及DragGAN对于图片的生成和编辑，出来的效果都很惊艳。 一些旧照片，时代比较久远了，那个时候的像素不够，所以有点模糊，但这都是一种美好回忆，如果能够修复成高清晰的那就好了。这里的Real-ESRGAN就是对这些模糊照片进行处理，生成高清晰的照片，老旧的视频，颜色和分辨率也是比较差，也可以使用Real-ESRGAN进行修复成高清晰的视频。1、安装环境1.1、
契源想必每个自媒体行业从业者都面临过这样一种情况：从网络上找到一张素材做封面，然而素材图片往往太模糊。那么，有没有办法对其进行高清修复呢？这就是计算机视觉领域的子领域图像超分所研究的主要问题。在我的专业课上，曾使用复现过图像超分领域的两个经典算法SRCNN和FSRCNN，但是效果一般。具体内容可以参见我之前写的博文：https://zstar.blog.csdn.net/article/details/125613142最近我在2021ICCV上看到图像超分的Real-ESRGAN这篇论文。论文标题：Real-ESRGAN:TrainingReal-WorldBlindSuper-Resolu
博客结构SRGANContribution：NetworkArchitecture:GeneratorNetworkDiscriminatorNetworkPerceptuallossfunction：Experiments：Meanopinionscore(MOS)testing：ESRGANContribution:NetworkArchitecture：ESRGAN相对于SRGAN对生成器做出了一下两点修改：RelativisticDiscriminator：PerceptualLoss:NetworkInterpolation：Experiments：Dataset：Qualitati
目录前言一、核心二、主要内容1.高阶退化模型2.网络和训练ESRGAN生成器光谱归一化(SN)U-Net鉴别器3.论文中效果三、项目使用可执行文件（不支持所有函数，在跑起来很简单） pytorch项目（需要配环境，但可以自己训练、微调）总结前言本文记录论文【Real-ESRGAN:TrainingReal-WorldBlindSuper-ResolutionwithPureSyntheticData】的阅读笔记及对其项目的简单测试。论文地址：https://arxiv.org/abs/2107.10833v2代码地址：GitHub-xinntao/Real-ESRGAN:Real-ESRGAN
目录前言一、核心二、主要内容1.高阶退化模型2.网络和训练ESRGAN生成器光谱归一化(SN)U-Net鉴别器3.论文中效果三、项目使用可执行文件（不支持所有函数，在跑起来很简单） pytorch项目（需要配环境，但可以自己训练、微调）总结前言本文记录论文【Real-ESRGAN:TrainingReal-WorldBlindSuper-ResolutionwithPureSyntheticData】的阅读笔记及对其项目的简单测试。论文地址：https://arxiv.org/abs/2107.10833v2代码地址：GitHub-xinntao/Real-ESRGAN:Real-ESRGAN
