上期介绍了Transformer的结构、特点和作用等方面的知识，回头看下来这一模型并不难，依旧是传统机器翻译模型中常见的seq2seq网络，里面加入了注意力机制，QKV矩阵的运算使得计算并行。当然，最大的重点不是矩阵运算，而是注意力机制的出现。一、CNN最大的问题是什么CNN依旧是十分优秀的特征提取器，然而注意力机制的出现使得CNN隐含的一些问题显露了出来。CNN中一个很重要的概念是感受野，一开始神经网络渐层的的卷积核中只能看到一些线条边角等信息，而后才能不断加大，看到一个小小的“面”，看到鼻子眼睛，再到后来看到整个头部。一方面的问题是：做到这些需要网络层数不断地加深(不考虑卷积核的大小)，感

目录一、前言1.1Transformer在视觉领域上使用的难点1.2输入序列长度的改进1.3VIT对输入的改进二、VisionTransformer模型2.1Embedding层2.2TransformerEncoder2.3MLPHead2.4 具体流程三、模型搭建参数四、结果分析一、前言1.1Transformer在视觉领域上使用的难点     在NLP中，输入transformer中的是一个序列，而在视觉领域，需要考虑如何将一个2d图片转化为一个1d的序列，最直观的想法就是将图片中的像素点输入到transformer中，但是这样会有一个问题，因为模型训练中图片的大小是224*224=50

目录一、前言1.1Transformer在视觉领域上使用的难点1.2输入序列长度的改进1.3VIT对输入的改进二、VisionTransformer模型2.1Embedding层2.2TransformerEncoder2.3MLPHead2.4 具体流程三、模型搭建参数四、结果分析一、前言1.1Transformer在视觉领域上使用的难点     在NLP中，输入transformer中的是一个序列，而在视觉领域，需要考虑如何将一个2d图片转化为一个1d的序列，最直观的想法就是将图片中的像素点输入到transformer中，但是这样会有一个问题，因为模型训练中图片的大小是224*224=50

知乎：VisionTransformer超详细解读(原理分析+代码解读) CSDN：vit中的cls_token与position_embed理解CSDN：ViT为何引入cls_tokenCSDN:ViT中特殊classtoken的一些问题Vision Transformer在一些任务上超越了CNN，得益于全局信息的聚合。在ViT论文中，作者引入了一个classtoken作为分类特征。如果没有cls_token，我们使用哪个patchtoken做分类呢？根据自注意机制，每个patchtoken一定程度上聚合了全局信息，但是主要是自身特征。ViT论文还使用了所有token取平均的方式，这意味每个

知乎：VisionTransformer超详细解读(原理分析+代码解读) CSDN：vit中的cls_token与position_embed理解CSDN：ViT为何引入cls_tokenCSDN:ViT中特殊classtoken的一些问题Vision Transformer在一些任务上超越了CNN，得益于全局信息的聚合。在ViT论文中，作者引入了一个classtoken作为分类特征。如果没有cls_token，我们使用哪个patchtoken做分类呢？根据自注意机制，每个patchtoken一定程度上聚合了全局信息，但是主要是自身特征。ViT论文还使用了所有token取平均的方式，这意味每个

目录图像分类结构概述图像切patchPatch0PositionEmbeddingMulti-HeadAttention代码[Pytorch]实验结果ReferenceTransformer在NLP任务中表现很好，但是在CV任务中应用还很有限，基本都是作为CNN的一个辅助，Vit尝试使用纯Transformer结构解决CV的任务，并成功将其应用到了CV的基本任务--图像分类中。因此，简单而言，这篇论文的主旨就是，用Transformer结构完成图像分类任务。图像分类图像分类，给定一张图片，输出一个概率向量p，如下图所示，p的每一个值为某个类别的概率值，如下图预测该图片为dog的概率为40%。结

目录图像分类结构概述图像切patchPatch0PositionEmbeddingMulti-HeadAttention代码[Pytorch]实验结果ReferenceTransformer在NLP任务中表现很好，但是在CV任务中应用还很有限，基本都是作为CNN的一个辅助，Vit尝试使用纯Transformer结构解决CV的任务，并成功将其应用到了CV的基本任务--图像分类中。因此，简单而言，这篇论文的主旨就是，用Transformer结构完成图像分类任务。图像分类图像分类，给定一张图片，输出一个概率向量p，如下图所示，p的每一个值为某个类别的概率值，如下图预测该图片为dog的概率为40%。结

ViT概括论文题目：ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE论文地址：https://openreview.net/pdf?id=YicbFdNTTy作者来自Google亮点:一些有趣的特性：CNN处理不太好但是ViT可以处理好的例子：遮挡数据分布偏移加入对抗性的patch排列作者认为：对于CNN的依赖是不必要的纯Transformer可以做到和CNN媲美的结果Transformer需要更少的训练资源，即使如此，也需要2500TPUv3天数。这里说的少，只是跟更耗卡的模型做对比。在CV使用Transforme

ViT概括论文题目：ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE论文地址：https://openreview.net/pdf?id=YicbFdNTTy作者来自Google亮点:一些有趣的特性：CNN处理不太好但是ViT可以处理好的例子：遮挡数据分布偏移加入对抗性的patch排列作者认为：对于CNN的依赖是不必要的纯Transformer可以做到和CNN媲美的结果Transformer需要更少的训练资源，即使如此，也需要2500TPUv3天数。这里说的少，只是跟更耗卡的模型做对比。在CV使用Transforme

本文介绍何恺明组在MAE后发表的两篇论文。使plainViT更直接地适配下游检测任务，并比较了自监督预训练、监督预训练和强随机初始化基线，并表明最新的基于屏蔽的无监督学习方法可能首次在COCO上提供令人信服的迁移学习改进。目录：1.BenchmarkingDetectionTransferLearningwithVisionTransformers（2021.11）2.ExploringPlainVisionTransformerBackbonesforObjectDetection（2022.3）基于视觉Transformer的基准检测迁移学习原文地址：https://arxiv.org/p