目录图像分类结构概述图像切patchPatch0PositionEmbeddingMulti-HeadAttention代码[Pytorch]实验结果ReferenceTransformer在NLP任务中表现很好，但是在CV任务中应用还很有限，基本都是作为CNN的一个辅助，Vit尝试使用纯Transformer结构解决CV的任务，并成功将其应用到了CV的基本任务--图像分类中。因此，简单而言，这篇论文的主旨就是，用Transformer结构完成图像分类任务。图像分类图像分类，给定一张图片，输出一个概率向量p，如下图所示，p的每一个值为某个类别的概率值，如下图预测该图片为dog的概率为40%。结

ViT概括论文题目：ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE论文地址：https://openreview.net/pdf?id=YicbFdNTTy作者来自Google亮点:一些有趣的特性：CNN处理不太好但是ViT可以处理好的例子：遮挡数据分布偏移加入对抗性的patch排列作者认为：对于CNN的依赖是不必要的纯Transformer可以做到和CNN媲美的结果Transformer需要更少的训练资源，即使如此，也需要2500TPUv3天数。这里说的少，只是跟更耗卡的模型做对比。在CV使用Transforme

ViT概括论文题目：ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE论文地址：https://openreview.net/pdf?id=YicbFdNTTy作者来自Google亮点:一些有趣的特性：CNN处理不太好但是ViT可以处理好的例子：遮挡数据分布偏移加入对抗性的patch排列作者认为：对于CNN的依赖是不必要的纯Transformer可以做到和CNN媲美的结果Transformer需要更少的训练资源，即使如此，也需要2500TPUv3天数。这里说的少，只是跟更耗卡的模型做对比。在CV使用Transforme

本文介绍何恺明组在MAE后发表的两篇论文。使plainViT更直接地适配下游检测任务，并比较了自监督预训练、监督预训练和强随机初始化基线，并表明最新的基于屏蔽的无监督学习方法可能首次在COCO上提供令人信服的迁移学习改进。目录：1.BenchmarkingDetectionTransferLearningwithVisionTransformers（2021.11）2.ExploringPlainVisionTransformerBackbonesforObjectDetection（2022.3）基于视觉Transformer的基准检测迁移学习原文地址：https://arxiv.org/p

本文介绍何恺明组在MAE后发表的两篇论文。使plainViT更直接地适配下游检测任务，并比较了自监督预训练、监督预训练和强随机初始化基线，并表明最新的基于屏蔽的无监督学习方法可能首次在COCO上提供令人信服的迁移学习改进。目录：1.BenchmarkingDetectionTransferLearningwithVisionTransformers（2021.11）2.ExploringPlainVisionTransformerBackbonesforObjectDetection（2022.3）基于视觉Transformer的基准检测迁移学习原文地址：https://arxiv.org/p