提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、ViT原理图二、算法实现过程三 、ViT-B/16结构详图四、ViT-B/16预训练权重简析总结前言ViT(VisionTransformer) 是首次成功将Transformer引入到视觉领域的尝试，开辟了视觉Transformer的先河。这里先对ViT的原理进行阐述，并对预训练文件ViT-B_16.npz的内容做一个简要介绍。一、ViT原理图ViT(VisionTransformer) 是首次成功将Transformer引入到视觉领域的尝试，开辟了视觉Transformer的先河。其原理如图1所示。图1ViT原
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、ViT原理图二、算法实现过程三 、ViT-B/16结构详图四、ViT-B/16预训练权重简析总结前言ViT(VisionTransformer) 是首次成功将Transformer引入到视觉领域的尝试，开辟了视觉Transformer的先河。这里先对ViT的原理进行阐述，并对预训练文件ViT-B_16.npz的内容做一个简要介绍。一、ViT原理图ViT(VisionTransformer) 是首次成功将Transformer引入到视觉领域的尝试，开辟了视觉Transformer的先河。其原理如图1所示。图1ViT原
记录几篇Transformer的超分辨率重建论文。1LearningTextureTransformerNetworkforImageSuper-Resolution（TTSR，CVPR2020）本文引用已经有200多了。原文链接1.1摘要文章做的是RefSR工作，主要观点是将Transformer作为一个attention，这样可以更好地将参考图像（Ref）的纹理信息转移到高质图像（HR）中。做法还是比较有意思的，如下图所示，将上采样的LR图像、依次向下/上采样的Ref图像、原始Ref图像中提取的纹理特征分别作为Q、K、V。纹理Transformer包含了4个结构：1）DNN实现的可学习的纹
记录几篇Transformer的超分辨率重建论文。1LearningTextureTransformerNetworkforImageSuper-Resolution（TTSR，CVPR2020）本文引用已经有200多了。原文链接1.1摘要文章做的是RefSR工作，主要观点是将Transformer作为一个attention，这样可以更好地将参考图像（Ref）的纹理信息转移到高质图像（HR）中。做法还是比较有意思的，如下图所示，将上采样的LR图像、依次向下/上采样的Ref图像、原始Ref图像中提取的纹理特征分别作为Q、K、V。纹理Transformer包含了4个结构：1）DNN实现的可学习的纹
1.解决问题DETR需要比现有的目标检测器更长的训练时间来收敛。 DETR在检测小物体方面的性能相对较低，并且无法从高分辨率特征地图中检测到小物体。可变形卷积可以识别重要特征，但是无法学习重要特征之间的联系 transformer组件在处理图像特征图中的不足。在初始化时，注意模块对特征图中的所有像素施加了几乎一致的注意权重。长时间的训练周期是为了学习注意权重，以关注稀疏的有意义的位置。另一方面，transformer编码器中的注意权值计算是二次计算w.r.t.像素数。因此，处理高分辨率的特征映射具有非常高的计算和内存复杂性。2.核心思想 DeformableDETR
1.解决问题DETR需要比现有的目标检测器更长的训练时间来收敛。 DETR在检测小物体方面的性能相对较低，并且无法从高分辨率特征地图中检测到小物体。可变形卷积可以识别重要特征，但是无法学习重要特征之间的联系 transformer组件在处理图像特征图中的不足。在初始化时，注意模块对特征图中的所有像素施加了几乎一致的注意权重。长时间的训练周期是为了学习注意权重，以关注稀疏的有意义的位置。另一方面，transformer编码器中的注意权值计算是二次计算w.r.t.像素数。因此，处理高分辨率的特征映射具有非常高的计算和内存复杂性。2.核心思想 DeformableDETR
上期介绍了Transformer的结构、特点和作用等方面的知识，回头看下来这一模型并不难，依旧是传统机器翻译模型中常见的seq2seq网络，里面加入了注意力机制，QKV矩阵的运算使得计算并行。当然，最大的重点不是矩阵运算，而是注意力机制的出现。一、CNN最大的问题是什么CNN依旧是十分优秀的特征提取器，然而注意力机制的出现使得CNN隐含的一些问题显露了出来。CNN中一个很重要的概念是感受野，一开始神经网络渐层的的卷积核中只能看到一些线条边角等信息，而后才能不断加大，看到一个小小的“面”，看到鼻子眼睛，再到后来看到整个头部。一方面的问题是：做到这些需要网络层数不断地加深(不考虑卷积核的大小)，感
上期介绍了Transformer的结构、特点和作用等方面的知识，回头看下来这一模型并不难，依旧是传统机器翻译模型中常见的seq2seq网络，里面加入了注意力机制，QKV矩阵的运算使得计算并行。当然，最大的重点不是矩阵运算，而是注意力机制的出现。一、CNN最大的问题是什么CNN依旧是十分优秀的特征提取器，然而注意力机制的出现使得CNN隐含的一些问题显露了出来。CNN中一个很重要的概念是感受野，一开始神经网络渐层的的卷积核中只能看到一些线条边角等信息，而后才能不断加大，看到一个小小的“面”，看到鼻子眼睛，再到后来看到整个头部。一方面的问题是：做到这些需要网络层数不断地加深(不考虑卷积核的大小)，感
2017年，Google的一篇AttentionIsAllYouNeed为我们带来了Transformer，其在NLP领域的重大成功展示了它对时序数据的强大建模能力，自然有人想要把Transformer应用到时序数据预测上。在Transformer的基础上构建时序预测能力可以突破以往的诸多限制，最明显的一个增益点是，TransformerforTS可以基于Multi-headAttention结构具备同时建模长期和短期时序特征的能力。本文将要介绍的一个充分利用了Transformer的优势，并在Transformer的基础上改进了Attention的计算方式以适应时序数据，同时提出了一种解决T
2017年，Google的一篇AttentionIsAllYouNeed为我们带来了Transformer，其在NLP领域的重大成功展示了它对时序数据的强大建模能力，自然有人想要把Transformer应用到时序数据预测上。在Transformer的基础上构建时序预测能力可以突破以往的诸多限制，最明显的一个增益点是，TransformerforTS可以基于Multi-headAttention结构具备同时建模长期和短期时序特征的能力。本文将要介绍的一个充分利用了Transformer的优势，并在Transformer的基础上改进了Attention的计算方式以适应时序数据，同时提出了一种解决T
