提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、ViT原理图二、算法实现过程三 、ViT-B/16结构详图四、ViT-B/16预训练权重简析总结前言ViT(VisionTransformer) 是首次成功将Transformer引入到视觉领域的尝试，开辟了视觉Transformer的先河。这里先对ViT的原理进行阐述，并对预训练文件ViT-B_16.npz的内容做一个简要介绍。一、ViT原理图ViT(VisionTransformer) 是首次成功将Transformer引入到视觉领域的尝试，开辟了视觉Transformer的先河。其原理如图1所示。图1ViT原
记录几篇Transformer的超分辨率重建论文。1LearningTextureTransformerNetworkforImageSuper-Resolution（TTSR，CVPR2020）本文引用已经有200多了。原文链接1.1摘要文章做的是RefSR工作，主要观点是将Transformer作为一个attention，这样可以更好地将参考图像（Ref）的纹理信息转移到高质图像（HR）中。做法还是比较有意思的，如下图所示，将上采样的LR图像、依次向下/上采样的Ref图像、原始Ref图像中提取的纹理特征分别作为Q、K、V。纹理Transformer包含了4个结构：1）DNN实现的可学习的纹
记录几篇Transformer的超分辨率重建论文。1LearningTextureTransformerNetworkforImageSuper-Resolution（TTSR，CVPR2020）本文引用已经有200多了。原文链接1.1摘要文章做的是RefSR工作，主要观点是将Transformer作为一个attention，这样可以更好地将参考图像（Ref）的纹理信息转移到高质图像（HR）中。做法还是比较有意思的，如下图所示，将上采样的LR图像、依次向下/上采样的Ref图像、原始Ref图像中提取的纹理特征分别作为Q、K、V。纹理Transformer包含了4个结构：1）DNN实现的可学习的纹
上期介绍了Transformer的结构、特点和作用等方面的知识，回头看下来这一模型并不难，依旧是传统机器翻译模型中常见的seq2seq网络，里面加入了注意力机制，QKV矩阵的运算使得计算并行。当然，最大的重点不是矩阵运算，而是注意力机制的出现。一、CNN最大的问题是什么CNN依旧是十分优秀的特征提取器，然而注意力机制的出现使得CNN隐含的一些问题显露了出来。CNN中一个很重要的概念是感受野，一开始神经网络渐层的的卷积核中只能看到一些线条边角等信息，而后才能不断加大，看到一个小小的“面”，看到鼻子眼睛，再到后来看到整个头部。一方面的问题是：做到这些需要网络层数不断地加深(不考虑卷积核的大小)，感
上期介绍了Transformer的结构、特点和作用等方面的知识，回头看下来这一模型并不难，依旧是传统机器翻译模型中常见的seq2seq网络，里面加入了注意力机制，QKV矩阵的运算使得计算并行。当然，最大的重点不是矩阵运算，而是注意力机制的出现。一、CNN最大的问题是什么CNN依旧是十分优秀的特征提取器，然而注意力机制的出现使得CNN隐含的一些问题显露了出来。CNN中一个很重要的概念是感受野，一开始神经网络渐层的的卷积核中只能看到一些线条边角等信息，而后才能不断加大，看到一个小小的“面”，看到鼻子眼睛，再到后来看到整个头部。一方面的问题是：做到这些需要网络层数不断地加深(不考虑卷积核的大小)，感
2017年，Google的一篇AttentionIsAllYouNeed为我们带来了Transformer，其在NLP领域的重大成功展示了它对时序数据的强大建模能力，自然有人想要把Transformer应用到时序数据预测上。在Transformer的基础上构建时序预测能力可以突破以往的诸多限制，最明显的一个增益点是，TransformerforTS可以基于Multi-headAttention结构具备同时建模长期和短期时序特征的能力。本文将要介绍的一个充分利用了Transformer的优势，并在Transformer的基础上改进了Attention的计算方式以适应时序数据，同时提出了一种解决T
2017年，Google的一篇AttentionIsAllYouNeed为我们带来了Transformer，其在NLP领域的重大成功展示了它对时序数据的强大建模能力，自然有人想要把Transformer应用到时序数据预测上。在Transformer的基础上构建时序预测能力可以突破以往的诸多限制，最明显的一个增益点是，TransformerforTS可以基于Multi-headAttention结构具备同时建模长期和短期时序特征的能力。本文将要介绍的一个充分利用了Transformer的优势，并在Transformer的基础上改进了Attention的计算方式以适应时序数据，同时提出了一种解决T
就在刚刚，MetaAI发布了SegmentAnythingModel（SAM）——第一个图像分割基础模型。SAM能从照片或视频中对任意对象实现一键分割，并且能够零样本迁移到其他任务。整体而言，SAM遵循了基础模型的思路：1.一种非常简单但可扩展的架构，可以处理多模态提示：文本、关键点、边界框。2.直观的标注流程，与模型设计紧密相连。3.一个数据飞轮，允许模型自举到大量未标记的图像。而且，毫不夸张地说，SAM已经学会了「物体」的一般概念，甚至对于未知物体、不熟悉的场景（例如水下和显微镜下）以及模糊的案例也是如此。此外，SAM还能够泛化到新任务和新领域，从业者并不需要自己微调模型了。论文地址：ht
就在刚刚，MetaAI发布了SegmentAnythingModel（SAM）——第一个图像分割基础模型。SAM能从照片或视频中对任意对象实现一键分割，并且能够零样本迁移到其他任务。整体而言，SAM遵循了基础模型的思路：1.一种非常简单但可扩展的架构，可以处理多模态提示：文本、关键点、边界框。2.直观的标注流程，与模型设计紧密相连。3.一个数据飞轮，允许模型自举到大量未标记的图像。而且，毫不夸张地说，SAM已经学会了「物体」的一般概念，甚至对于未知物体、不熟悉的场景（例如水下和显微镜下）以及模糊的案例也是如此。此外，SAM还能够泛化到新任务和新领域，从业者并不需要自己微调模型了。论文地址：ht
Meta的「分割一切」模型横空出世后，已经让圈内人惊呼CV不存在了。就在SAM发布后一天，国内团队在此基础上搞出了一个进化版本「Grounded-SAM」。注：项目的logo是团队用Midjourney花了一个小时做的Grounded-SAM把SAM和BLIP、StableDiffusion集成在一起，将图片「分割」、「检测」和「生成」三种能力合一，成为最强Zero-Shot视觉应用。网友纷纷表示，太卷了！谷歌大脑的研究科学家、滑铁卢大学计算机科学助理教授WenhuChen表示「这也太快了」。AI大佬沈向洋也向大家推荐了这一最新项目：Grounded-Segment-Anything：自动检测
