开场

• 多模态串讲的上篇是比较传统的多模态任务

• 多模态最后的模态交互很重要

• 传统的缺点是都用了预训练的目标检测器，训练和部署都很困难。

• ViLT 把预训练的目标检测器换成了一层的 Patch Embedding。

  • 因此容易比不过 c 类的方法

• ViLT 训练很慢

• 认为未来是 c 类的模型结构

• Loss：

  • b 类（CLIP）仅用对比学习的 loss（Image Text Contrastive），比较简单。
  • c 类由于有目标检测，因此提了 Word Patch Alignment
  • ViLT 中发现 WPA Loss 非常慢
  • MLM 的 Loss
  • Image Text Matching 效果也很好
  • 认为目标函数应该是 ITC + ITM + MLM 的合体

回顾 CLIP

• 双塔模型
• 让已有的（图像，文本）对在空间上更近，不是一个对的空间上更远。
• 最后仅做了点乘。
• 缺陷：
  • VQA 等任务不太好

ALBEF

论文：Align before Fuse: Vision and Language Representation Learning with Momentum Distillation

亮点：

• 图像部分 12 层 transformer encoder
• 文本部分前 6 层文本编码器，后 6 层做多模态融合的编码器。
• 没有目标检测模型
• 使用了 Image Text Contrastive loss
• 自训练，用伪标签标上网上爬下来的有噪数据。 伪标签（pseudo-target）由一个 momentum model 提供。
  • 原因在于搜索引擎爬下来的（图像，文本）对，非常高噪。文本被称作 Alt text，并没有很好地描述图像，而是提供了搜索引擎需要便于检索的关键词。
• 互信息最大化的方式：文章里所提到的目标函数是为了同一个图像文本对提供不同的视角。变相的数据增强。
• 速度很快：4e6 的数据 8 卡机训练 3、4 天可以跑出来（这也很久了）

作者来自 SalesForce，有一系列多模态工作，很厉害。

文章提到：由于大多数方法使用 transformer 的多模态编码器来同时编码视觉和文本特征，由于目标检测器是提前训练好的，因此视觉和文本特征并不是对齐的。由于没经过端到端的训练，因此可能这两个特征有很远的距离。

模型

image Embedding 部分

• 使用了标准的 ViT 模型
• 预训练参数用了 DEiT。

文本部分

• 只用前 6 层做文本编码

Loss 函数

• ITC loss
  • 
  • 文本和图片的 [CLS] token 经过 encoder 后，被当作文本的全局特征，然后丢尽 ITC loss 里作比较。
    • 所以这里有个问题：图片是怎么加上 [CLS] token 的？
      • ViT 中将图片分成若干个 patch，然后把 patch 作为 token，然后直接加上 [CLS] token 后，再进行 embedding 等操作。
  • 这里是将文本转化成的图片与 ground-truth 做交叉熵，反之亦然。
  • 但是这样就没办法得到中间状态了？
• ITM Loss
  • 给定图片和文本，然后经过 ALBEF 的模型后，得到特征，再过一个FC层，以此做二分类，判断是否为一对。
  • 但是判断正样本有点难，但是判断负样本很容易，因此准确度会上升得很快。
  • 为解决上面的问题，这里通过某种方式选择最接近正样本的负样本。
    • hard negatives ：ITM 利用 ITC 把同一 batch 中图片和所有文本都算一遍余弦相似度。 利用最相似的做负样本。
• Masked Language Modeling
  • mask 掉一些文本，然后将 mask 过后的句子和图片一起通过 ALBEF 模型，最后把之前完整的句子预测出来。
  • 输入与前两个 Loss 不同是 \((I, T_{mask})\)，说明模型用了两次 forward() 函数。

然后三者简单加和即可。

Momentum Distillation（动量蒸馏）

• 原因
  • noisy web data
    • ITC：可能文本已经描述得很好了，但是由于 data noisy，导致了其为负样本。
    • MLM：有时候可能比填 ground-truth 更好的文本。
• self-training
• 具体模型构建：在已有模型之上做 exponential-moving-average
  • 目的：跟 one-hot 尽可能接近之外，让它跟动量模型出来的 pseudo-targets 尽可能 match。
• 对原 Loss 的改进，都对两者加入了动量蒸馏后的向量：
  • ITC：见式 6.
  • MLM：式 7.

实验

预训练

四个数据集：

1. Conceptual Captions
2. SBU Captions
3. COCO：图片对多文本
4. Visual Genome：图片对多文本

第五个数据集更 noisy，但是数量也更大， 对性能也有提升。

下游任务

• Image-Text Retrieval
• Visual Entailment
• VQA
• Visual Reasoning
• Visual Grounding

消融实验

• 去掉 ITC 掉的多 。
• hard negative 其二。
• Momentum Distillation 提升反而没有那么大，但是是很有趣的研究方向。

VLMo

题目：VLMo: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts

微软的组发的

亮点：

• 模型结构上的改进 Mixture-of-Modality-Experts
• 训练方式改进：分阶段模型预训练

作者认为前人缺点

• CLIP、ALIGN：
  • 双塔结构（比较大的文本模型和图片模型），最后只做了一个余弦相似度，余弦过于简单。
• 单塔结构（即有一个比较大的模态融合模型）
  • 分类任务上 superior performance
  • 检索任务数据集大的时候，推理时间会非常慢

因此作者融合前两者。简单地说，自注意力中所有的模态都是共享的，但是在 FC 层中，每个模态会对应自己不同的 Expert。训练时，哪个模态的数据来了就训练对应模态的 Expert。

训练 Loss 函数同样是 ITC、ITM、MLM。

多模态数据集可能不够，因此采用了单模态的其他数据，分阶段训练。

• 把 vision expert 在 vision 数据集上训练
• 把 language expert 在语言数据集上训练
• 再在多模态数据集上训练

模型

模型亮点

• MoME Transformer
  • 前面的多头注意力层共享参数
  • Switching Modality Expert：每个模态一个 FFN 层，不共享参数
• 灵活
• 在不同的下游任务上可以采用不同的结构以及相同的参数

Loss

• ITC
• ITM
• MLM

实验

训练过程

• 自注意力在视觉上训练了，然后会在文本部分冻住。
  • 反过来反而没那么有效。
• 最后一步全部解冻

结果

数据集：

VQA、NLVR2

简要结果

比 ALBEF 全线更强

一些未来的工作已被验证

1. 更大模型 —— BeiTv3
2. vision-language generation ——VL-BeiT
3. 单模态可以帮助多模态，多模态也可以帮助单模态——BeiTv3
4. 更多模态，如视频等——MetaLM

BLIP

论文：BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding Generation

基于 Transformer Encoder Decoder 的工作

作者来自 Salesforce

亮点：

• Bootstrap：从数据集角度出发的
  • 先用嘈杂数据训练模型，再用比较干净的数据训练模型
• Unified：
  • 统一了图像-语言的理解与生成任务

引言

• 模型：以前的模型一般是 encoder 或者 encoder-decoder
  • 但是 only-encoder 模型没法应用到生成任务中
  • encoder-docoder 模型，由于没有统一框架，也不能做 VL retrieval 的任务
• 数据：
  • 以前的模型都是在大规模的 noisy 数据训练
  • 因此本文要更好地 clean 数据
    • Captioner：利用 Captioner 生成图片相应文本
    • Filter：利用 Filter 筛掉不匹配的 VL 对
• 因此结合了 ALBEF 和 VLMo，做出BLIP

方法

模型

• 图片部分
  • 标准 ViT
• 剩下部分有三个模型，分别算三个不同的目标函数
  • 第一个模型：Text Encoder 做分类任务
    • 得到文本特征与图片特征做 ITC
  • 第二个模型：Image-grounded Text encoder
    • 多模态编码器
    • 借助图像信息
    • ITM Loss
  • 第三个模型 Image-grounded Text decoder
    • 用于做生成任务
    • 不能看到完整的句子
    • 类似GPT，从前面推测后面的句子
    • 第一层是 Causal Self-att，因果关系的自注意力
    • LM Loss
• 共享参数
  • 同样颜色代表同样的参数
• 训练很费时间，原因要做四个 forward()

Captioner 和 Filter

可以认为爬下来的数据有很大概率不匹配（如 CC12M），但是手工标注的数据很可能匹配（如COCO）

• Filter
  • 利用 ITC&ITM 的模型在 COCO 上 finetune。然后利用该模型筛选
• Captioner
  • BLIP 性能很强，于是生成的文本有时候比原始文本都好。
  • 利用 LM 后的模型做微调。
• 有了这两个模型后，有了相当大的提升

结果

• 常识性结论：
  • 数据集更高，有所提升
  • 模型变大，有所提升
• Captioner & FIlter：
• 用了哪个都会有提升。
• 用了 Captioner 提升更加显著
• 而且完全可以利用这两个去训练其他模型

使用例

1. 有位同学想要利用 Stable Diffusion 做一个生成宝可梦风格的模型，得到了宝可梦的图片但是没有描述。
   • 利用 BLIP 生成描述。
2. LAION COCO 数据集
   • 用一个 BLIP 和 2 个 CLIP 模型不停做 Caption & filter 的过程
     • 用 BLIP 生成 40 个描述
     • 再利用一个 CLIP 排序，选最好的 5 个描述
     • 再用另一个 CLIP（最大的模型） 得到最好的一个。
   • 最后得到了 600 Million 数据集

CoCa

论文标题：CoCa: Contrastive Captioners are Image-Text Foundation Models

作者来自 google

亮点：

• 两个 loss
  • contrastive loss
  • caption loss
• 模型更大
• 多模态&单模态都取得了非常强劲的效果

方法

模型

• CoCa 是 ALBEF 的后续工作，一些过程继承了 ALBEF 的过程，详细过程如下：
  • 左边是 Image Encoder，右边是 Text Decoder
  • 图像的 [CLS] token 和文本的 [CLS] token 做一个 contrastive loss，然后剩下的图像 token 做一下 Attention pooling，然后再传到 多模态的 Text Decoder 里做 Cross-Attention ，这样就把 V&L 的特征融合到一起了。
  • 最后用了 Captioning Loss
• 与 ALBEF 的区别
  • 图像的 attention pooling 是可学的，能针对不同任务学到更好特征。
  • 文本这一端，不论是单文本还是多模态用的都是 Decoder。
    • 采用 Captioning Loss 与 Decoder 结构目的是加快运算速度。
• 模型参数 2.1B
• 数据集：
  • GFT 3B 转化成了多模态数据集
  • 还有一个之前训练 Align 的数据集

结果

（我所见过最离谱的图）

BEITv3

论文题目：Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks

作者来自微软

亮点：

• 模型要统一
• 训练目标函数要统一
• 数据集大小要统一
• 独特的命名
  • images -> Imglish
  • texts -> English
  • image-text pairs -> parallel sentence
• 目标函数 Masked Modeling loss
• 模型为之前 VLMo 提出的 MoME，然后这篇论文重新起了名字 Multi-way Transformers
  • 由于模型结构灵活，因此推理时可以拆成许多部分做许多下游任务。
• 预训练数据集都是公开数据集
• 引言写的很好（如果要研究多模态要去看一下）

这篇论文证明了：

• 不是目标函数越多越好，要看目标函数是否有互补的特性
• 数据也不一定越多越好，质量也很关键

模型

预训练

• VLMo

  微调

结果

总结