目录图像分类结构概述图像切patchPatch0PositionEmbeddingMulti-HeadAttention代码[Pytorch]实验结果ReferenceTransformer在NLP任务中表现很好，但是在CV任务中应用还很有限，基本都是作为CNN的一个辅助，Vit尝试使用纯Transformer结构解决CV的任务，并成功将其应用到了CV的基本任务--图像分类中。因此，简单而言，这篇论文的主旨就是，用Transformer结构完成图像分类任务。图像分类图像分类，给定一张图片，输出一个概率向量p，如下图所示，p的每一个值为某个类别的概率值，如下图预测该图片为dog的概率为40%。结
论文地址；中文翻译；代码地址；视频地址；本篇大部分内容来源。只做整理补充，推荐去看李沐老师原视频，讲的真的很好建议学习顺序：5min全局理解->李沐老师论文讲解->图解or手推BERT->代码讲解，都强力安利图解BERT真的非常适合过完论文对每一个小part都有所感受以后做整体串联！！我可太喜欢这个up了1-标题+作者BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstandingpre-training:在一个大的数据集上训练好一个模型pre-training，模型的主要任务是用在其它任务training上dee
论文地址；中文翻译；代码地址；视频地址；本篇大部分内容来源。只做整理补充，推荐去看李沐老师原视频，讲的真的很好建议学习顺序：5min全局理解->李沐老师论文讲解->图解or手推BERT->代码讲解，都强力安利图解BERT真的非常适合过完论文对每一个小part都有所感受以后做整体串联！！我可太喜欢这个up了1-标题+作者BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstandingpre-training:在一个大的数据集上训练好一个模型pre-training，模型的主要任务是用在其它任务training上dee
模型结构演进本文以演进方向和目的为线索梳理了一些我常见到但不是很熟悉的预训练语言模型，首先来看看“完全版的BERT”：RoBERTa:ARobustlyOptimizedBERTPretrainingApproach（2019）可看成是完全体的BERT，主要3方面改进，首先采用了Dynamicmask，即每个文本进入训练时动态mask掉部分token，相比原来的Bert，可以达到同一个文本在不同epoch被mask掉的token不同，相当于做了一个数据增强。其次，不使用NSP任务，效果会有一定提升。最后，RoBERTa增大了训练时间和训练数据、batchsize以及对BPE（输入文本的分词方法
模型结构演进本文以演进方向和目的为线索梳理了一些我常见到但不是很熟悉的预训练语言模型，首先来看看“完全版的BERT”：RoBERTa:ARobustlyOptimizedBERTPretrainingApproach（2019）可看成是完全体的BERT，主要3方面改进，首先采用了Dynamicmask，即每个文本进入训练时动态mask掉部分token，相比原来的Bert，可以达到同一个文本在不同epoch被mask掉的token不同，相当于做了一个数据增强。其次，不使用NSP任务，效果会有一定提升。最后，RoBERTa增大了训练时间和训练数据、batchsize以及对BPE（输入文本的分词方法
基于随机tokenMASK是Bert能实现双向上下文信息编码的核心。但是MASK策略本身存在一些问题MASK的不一致性：MASK只在预训练任务中存在，在微调中不存在，Bert只是通过替换部分的随机MASK来降低不一致性的影响独立性假设：对MASK的预测是基于独立概率而不是联合概率，模型并不会考虑MASK之间的条件关联MASK训练低效：每次只遮盖15%的token，每个batch的模型更新只基于这15%的input，导致模型训练效率较低MASK有这么多的问题，那能否绕过MASK策略来捕捉双向上下文信息呢？下面介绍两种方案XLNET，Electra，它们使用两种截然不同的方案实现了在下游迁移的En
基于随机tokenMASK是Bert能实现双向上下文信息编码的核心。但是MASK策略本身存在一些问题MASK的不一致性：MASK只在预训练任务中存在，在微调中不存在，Bert只是通过替换部分的随机MASK来降低不一致性的影响独立性假设：对MASK的预测是基于独立概率而不是联合概率，模型并不会考虑MASK之间的条件关联MASK训练低效：每次只遮盖15%的token，每个batch的模型更新只基于这15%的input，导致模型训练效率较低MASK有这么多的问题，那能否绕过MASK策略来捕捉双向上下文信息呢？下面介绍两种方案XLNET，Electra，它们使用两种截然不同的方案实现了在下游迁移的En
作者：京东零售彭馨1.背景我们知道Bert预训练模型针对分词、ner、文本分类等下游任务取得了很好的效果，但在语义相似度任务上，表现相较于Word2Vec、Glove等并没有明显的提升。有学者研究发现，这是因为Bert词向量存在各向异性（不同方向表现出的特征不一致），高频词分布在狭小的区域，靠近原点，低频词训练不充分，分布相对稀疏，远离原点，词向量整体的空间分布呈现锥形，如下图，导致计算的相似度存在问题。2.问题分析为什么Bert词向量会呈现圆锥形的空间分布且高频词更靠近原点？查了一些论文发现，除了这篇ICLR2019的论文《RepresentationDegenerationProblemi
作者：京东零售彭馨1.背景我们知道Bert预训练模型针对分词、ner、文本分类等下游任务取得了很好的效果，但在语义相似度任务上，表现相较于Word2Vec、Glove等并没有明显的提升。有学者研究发现，这是因为Bert词向量存在各向异性（不同方向表现出的特征不一致），高频词分布在狭小的区域，靠近原点，低频词训练不充分，分布相对稀疏，远离原点，词向量整体的空间分布呈现锥形，如下图，导致计算的相似度存在问题。2.问题分析为什么Bert词向量会呈现圆锥形的空间分布且高频词更靠近原点？查了一些论文发现，除了这篇ICLR2019的论文《RepresentationDegenerationProblemi
ViT概括论文题目：ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE论文地址：https://openreview.net/pdf?id=YicbFdNTTy作者来自Google亮点:一些有趣的特性：CNN处理不太好但是ViT可以处理好的例子：遮挡数据分布偏移加入对抗性的patch排列作者认为：对于CNN的依赖是不必要的纯Transformer可以做到和CNN媲美的结果Transformer需要更少的训练资源，即使如此，也需要2500TPUv3天数。这里说的少，只是跟更耗卡的模型做对比。在CV使用Transforme
