文章目录
论文：
《Thin-Plate Spline Motion Model for Image Animation》
github：
https://github.com/yoyo-nb/Thin-Plate-Spline-Motion-Model
问题：
尽管当前有些工作使用无监督方法进可行任意目标姿态迁移，但是当源图与目标图差异大时，对当前无监督方案来说仍然具有挑战。
方法：
本文提出无监督TPS Motion，
1、提出thin-plate spline（TPS）运动估计，以生成更灵活光流，将源图特征迁移至目标图特征；
2、为了补全缺失区域，使用多分辨率遮挡mask进行有效特征融合。
3、额外辅助损失函数用于确保网络各模块分工，使得生成高质量图片；
TPS Motion算法整体流程图如图2所示，
TPS Motion主要包括以下模块：
1、关键点检测模块
E
k
p
E_{kp}
Ekp：生成
K
∗
N
K*N
K∗N对关键点用于生成K个TPS变换；
2、背景运动预测
E
b
g
E_{bg}
Ebg：估计背景变换参数；
3、稠密运动网络(Dense Motion Network)：这是一个hourglass网络，使用
E
b
g
E_{bg}
Ebg背景变换及
E
k
p
E_{kp}
Ekp的K的K个TPS变换进行光流估计、多分辨率遮挡mask预测，用于指导缺失区域；
4、修复网络（Inpainting Network）：同为hourglass网络，使用预测光流扭曲原图特征图，修复每个尺度下特征图缺失区域；
1、通过TPS可通过最小扭曲，将原图变换到目标图，如式1,
P
i
X
表示图
X
上第
i
个关键点
P^X_i表示图X上第i个关键点
PiX表示图X上第i个关键点；
E
k
p
E_{kp}
Ekp使用
K
∗
N
K*N
K∗N个关键点，计算k个tps变换，每个使用N个关键点（N=5），TPS计算如式2,
p
为坐标，
A
与
w
为式
1
求解到的系数，
U
为偏置项
p为坐标，A与w为式1求解到的系数，U为偏置项
p为坐标，A与w为式1求解到的系数，U为偏置项,
2、背景变换矩阵如式4，其中
A
b
g
A_{bg}
Abg由背景运动预测器
E
b
g
E_{bg}
Ebg生成；
3、通过Dense Motion Network将K+1个变换预测contribution map
M
~
∈
R
(
K
+
1
)
×
H
×
W
\tilde M \in R^{(K+1)\times H \times W}
M~∈R(K+1)×H×W，经过softmax得到
M
M
M，如式5，
将其与K+1个变换结合计算光流，如式6，
由于训练初期仅有部分TPS变换起作用，由此导致contribution map有的地方为0，因此训练时容易陷入局部最优；
作者使用dropout使得某些contribution map为0，将式5改为式7，
b
i
服从伯努利分布，概率为
1
−
P
b_i服从伯努利分布，概率为1-P
bi服从伯努利分布，概率为1−P，使得网络不会过度依赖某些TPS变换，训练几个epoch后，作者将其去除；
4、修复网络（Inpainting Network）的编码器提取原图特征进行变换，解码器进行重构目标图；
一些论文证明，不同尺度特征图关注区域有区别，低分辨率关注抽象形态，高分辨率关注细节纹理；因此作者在每层进行预测遮挡mask；
Dense Motion Network除了预测光流还预测多分辨率遮挡mask，通过在每层编码器添加一个额外的卷积层实现；
Inpaintting Network融合多尺度特征生成高质量图像，细节如图3所示；
1、将原图S送入编码器，光流
T
~
\tilde T
T~用于变换每层特征图；
2、使用预测的遮挡mask进行遮挡变换后的特征图；
3、使用skip connection与浅层解码器输出concat；
4、通过两个残差网络及上采样层，生成最终图像；
重构损失：使用VGG-19计算重构损失，如式9；
同变损失：用于约束关键点检测模块，如式10；
背景损失：用于约束背景Motion预测器，确保预测更加准确，
A
b
g
A_{bg}
Abg表示从S到D的背景仿射变换矩阵；
A
b
g
′
A'_{bg}
Abg′表示D到S的背景仿射变换矩阵，防止预测输出矩阵为0，loss未使用式11，而是式12；
扭曲损失：用于约束Inpainting Network，使得估计光流更加可靠，如式13，Ei表示网络第i层编码器；
整体损失函数如式14
FOMM有两种模式：标准、相关；
前者使用驱动视频
D
t
D_t
Dt每一帧及S，依据式6估计motion，但当S与D差异大时（比如S与D中人体身材差异大），表现不佳；
后者用于估计
D
1
D_1
D1至
D
t
D_t
Dt的motion，将其应用于S，这要求
D
1
D_1
D1与S的pose接近；
MRAA提出一种新模式，通过解耦进行动画，额外训练网络进行预测motion，应用于S，本文使用相同模式；训练shape及pose编码器，shape编码器学习关键点S的shape，pose编码器学习关键点
D
t
D_t
Dt的pose，解码器重构关键点保留S的shape及
D
t
D_t
Dt的pose，训练过程中使用同一视频两帧，其中一帧关键点进行随机变换仿真另一个体的pose；
对于图像动画而言，将S及
D
t
D_t
Dt的关键点送入shape及pose编码器，经过解码器获取重构的关键点，根据式6估计motion。
评估指标
L1表示驱动图与生成图像素L1距离；
Average keypoint distance (AKD)表示生成图与驱动图关键点距离；
Missing keypoint rate (MKR)表示驱动图中存在但是生成图中不存在的关键点比率；
Average Euclidean distance (AED)表示使用reid模型提取生成图与驱动图特征，比较两者之间L2损失；
视频重构结果如表1；
图6展示图像动画结果，在4个数据集上与MRAA比较，
表2展示真实用户在连续性及真实性上评价；
表4展示消融实验结果；
表3比较不同K对结果影响，FOMM、MRAA使用K=5,10,20；本文方式用2,4,8；
作者提出的方无监督图像动画方法：
1、通过TPS估计光流，训练初期使用dropout，防止陷入局部最优；
2、多分辨率遮挡mask用于更有效特征融合；
3、设计额外辅助损失；
本文方法取得SOTA，但是当源图与驱动图人物身份极度不匹配时，效果不理想；
我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看rubyzip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d
在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',
我正在编写一个小脚本来定位aws存储桶中的特定文件，并创建一个临时验证的url以发送给同事。(理想情况下，这将创建类似于在控制台上右键单击存储桶中的文件并复制链接地址的结果)。我研究过回形针，它似乎不符合这个标准，但我可能只是不知道它的全部功能。我尝试了以下方法:defauthenticated_url(file_name,bucket)AWS::S3::S3Object.url_for(file_name,bucket,:secure=>true,:expires=>20*60)end产生这种类型的结果:...-1.amazonaws.com/file_path/file.zip.A
我是Rails的新手，所以请原谅简单的问题。我正在为一家公司创建一个网站。那家公司想在网站上展示它的客户。我想让客户自己管理这个。我正在为“客户”生成一个表格，我想要的三列是:公司名称、公司描述和Logo。对于名称，我使用的是name:string但不确定如何在脚本/生成脚手架终端命令中最好地创建描述列(因为我打算将其设置为文本区域)和图片。我怀疑描述(我想成为一个文本区域)应该仍然是描述:字符串，然后以实际形式进行调整。不确定如何处理图片字段。那么……说来话长:我在脚手架命令中输入什么来生成描述和图片列？ 最佳答案 对于“文本”数
我正在使用RubyonRails3.0.9，我想生成一个传递一些自定义参数的link_toURL。也就是说，有一个articles_path(www.my_web_site_name.com/articles)我想生成如下内容:link_to'Samplelinktitle',...#HereIshouldimplementthecode#=>'http://www.my_web_site_name.com/articles?param1=value1¶m2=value2&...我如何编写link_to语句“alàRubyonRailsWay”以实现该目的？如果我想通过传递一些
有这些railscast。http://railscasts.com/episodes/218-making-generators-in-rails-3有了这个，你就会知道如何创建样式表和脚手架生成器。http://railscasts.com/episodes/216-generators-in-rails-3通过这个，您可以了解如何添加一些文件来修改脚手架View。我想把两者结合起来。我想创建一个生成器，它也可以创建脚手架View。有点像RyanBates漂亮的生成器或web_app_themegem(https://github.com/pilu/web-app-theme)。我
导读语言模型给我们的生产生活带来了极大便利，但同时不少人也利用他们从事作弊工作。如何规避这些难辨真伪的文字所产生的负面影响也成为一大难题。在3月9日智源Live第33期活动「DetectGPT：判断文本是否为机器生成的工具」中，主讲人Eric为我们讲解了DetectGPT工作背后的思路——一种基于概率曲率检测的用于检测模型生成文本的工具，它可以帮助我们更好地分辨文章的来源和可信度，对保护信息真实、防止欺诈等方面具有重要意义。本次报告主要围绕其功能，实现和效果等展开。（文末点击“阅读原文”，查看活动回放。）Ericmitchell斯坦福大学计算机系四年级博士生，由ChelseaFinn和Chri
动漫制作技巧是很多新人想了解的问题，今天小编就来解答与大家分享一下动漫制作流程，为了帮助有兴趣的同学理解，大多数人会选择动漫培训机构，那么今天小编就带大家来看看动漫制作要掌握哪些技巧？一、动漫作品首先完成草图设计和原型制作。设计草图要有目的、有对象、有步骤、要形象、要简单、符合实际。设计图要一致性，以保证制作的顺利进行。二、原型制作是根据设计图纸和制作材料，可以是手绘也可以是3d软件创建。在此步骤中，要注意的问题是色彩和平面布局。三、动漫制作制作完成后，加工成型。完成不同的表现形式后，就要对设计稿进行加工处理，使加工的难易度降低，并得到一些基本准确的概念，以便于后续的大样、准确的尺寸制定。四、
2022/8/4更新支持加入水印水印必须包含透明图像，并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时，是将这组图像视为MJPG流。我需要转换一组PNG图像到视频，FFMPEG就不认了。pyav内置了ffmpeg库，不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p
Transformers开始在视频识别领域的“猪突猛进”，各种改进和魔改层出不穷。由此作者将开启VideoTransformer系列的讲解，本篇主要介绍了FBAI团队的TimeSformer，这也是第一篇使用纯Transformer结构在视频识别上的文章。如果觉得有用，就请点赞、收藏、关注！paper:https://arxiv.org/abs/2102.05095code(offical):https://github.com/facebookresearch/TimeSformeraccept:ICML2021author:FacebookAI一、前言Transformers(VIT)在图
