MM2022|用StyleGAN进行数据增强，真的太好用了【写在前面】本文研究了生成文本-图像对的开放性研究问题，以改进细粒度图像到文本跨模态检索任务的训练，并提出了一种通过揭示StyleGAN2模型隐藏的语义信息来增强配对数据的新框架。具体来说，作者首先在给定的数据集上训练StyleGAN2模型。然后，将真实图像投影回StyleGAN2的潜在空间，以获得潜在代码。为了使生成的图像具有可操作性，进一步引入了潜在空间对齐模块来学习StyleGAN2潜在代码与相应文本字幕特征之间的对齐。当进行在线配对数据增强时，作者首先通过随机token替换生成增强文本，然后将增强文本传递到潜在空间对齐模块以输出