记录几篇Transformer的超分辨率重建论文。1LearningTextureTransformerNetworkforImageSuper-Resolution（TTSR，CVPR2020）本文引用已经有200多了。原文链接1.1摘要文章做的是RefSR工作，主要观点是将Transformer作为一个attention，这样可以更好地将参考图像（Ref）的纹理信息转移到高质图像（HR）中。做法还是比较有意思的，如下图所示，将上采样的LR图像、依次向下/上采样的Ref图像、原始Ref图像中提取的纹理特征分别作为Q、K、V。纹理Transformer包含了4个结构：1）DNN实现的可学习的纹
记录几篇Transformer的超分辨率重建论文。1LearningTextureTransformerNetworkforImageSuper-Resolution（TTSR，CVPR2020）本文引用已经有200多了。原文链接1.1摘要文章做的是RefSR工作，主要观点是将Transformer作为一个attention，这样可以更好地将参考图像（Ref）的纹理信息转移到高质图像（HR）中。做法还是比较有意思的，如下图所示，将上采样的LR图像、依次向下/上采样的Ref图像、原始Ref图像中提取的纹理特征分别作为Q、K、V。纹理Transformer包含了4个结构：1）DNN实现的可学习的纹
上期介绍了Transformer的结构、特点和作用等方面的知识，回头看下来这一模型并不难，依旧是传统机器翻译模型中常见的seq2seq网络，里面加入了注意力机制，QKV矩阵的运算使得计算并行。当然，最大的重点不是矩阵运算，而是注意力机制的出现。一、CNN最大的问题是什么CNN依旧是十分优秀的特征提取器，然而注意力机制的出现使得CNN隐含的一些问题显露了出来。CNN中一个很重要的概念是感受野，一开始神经网络渐层的的卷积核中只能看到一些线条边角等信息，而后才能不断加大，看到一个小小的“面”，看到鼻子眼睛，再到后来看到整个头部。一方面的问题是：做到这些需要网络层数不断地加深(不考虑卷积核的大小)，感
上期介绍了Transformer的结构、特点和作用等方面的知识，回头看下来这一模型并不难，依旧是传统机器翻译模型中常见的seq2seq网络，里面加入了注意力机制，QKV矩阵的运算使得计算并行。当然，最大的重点不是矩阵运算，而是注意力机制的出现。一、CNN最大的问题是什么CNN依旧是十分优秀的特征提取器，然而注意力机制的出现使得CNN隐含的一些问题显露了出来。CNN中一个很重要的概念是感受野，一开始神经网络渐层的的卷积核中只能看到一些线条边角等信息，而后才能不断加大，看到一个小小的“面”，看到鼻子眼睛，再到后来看到整个头部。一方面的问题是：做到这些需要网络层数不断地加深(不考虑卷积核的大小)，感
2017年，Google的一篇AttentionIsAllYouNeed为我们带来了Transformer，其在NLP领域的重大成功展示了它对时序数据的强大建模能力，自然有人想要把Transformer应用到时序数据预测上。在Transformer的基础上构建时序预测能力可以突破以往的诸多限制，最明显的一个增益点是，TransformerforTS可以基于Multi-headAttention结构具备同时建模长期和短期时序特征的能力。本文将要介绍的一个充分利用了Transformer的优势，并在Transformer的基础上改进了Attention的计算方式以适应时序数据，同时提出了一种解决T
2017年，Google的一篇AttentionIsAllYouNeed为我们带来了Transformer，其在NLP领域的重大成功展示了它对时序数据的强大建模能力，自然有人想要把Transformer应用到时序数据预测上。在Transformer的基础上构建时序预测能力可以突破以往的诸多限制，最明显的一个增益点是，TransformerforTS可以基于Multi-headAttention结构具备同时建模长期和短期时序特征的能力。本文将要介绍的一个充分利用了Transformer的优势，并在Transformer的基础上改进了Attention的计算方式以适应时序数据，同时提出了一种解决T
近期，基于Transformer的算法被广泛应用于计算机视觉的各类任务中，但该类算法在训练数据量较小时容易产生过拟合问题。现有VisionTransformer通常直接引入CNN中常用的Dropout算法作为正则化器，其在注意力权重图上进行随机Drop并为不同深度的注意力层设置统一的drop概率。尽管Dropout十分简单，但这种drop方式主要面临三个主要问题。首先，在softmax归一化后进行随机Drop会打破注意力权重的概率分布并且无法对权重峰值进行惩罚，从而导致模型仍会过拟合于局部特定信息（如图1）。其次，网络深层中较大的Drop概率会导致高层语义信息缺失，而浅层中较小的drop概率会
近期，基于Transformer的算法被广泛应用于计算机视觉的各类任务中，但该类算法在训练数据量较小时容易产生过拟合问题。现有VisionTransformer通常直接引入CNN中常用的Dropout算法作为正则化器，其在注意力权重图上进行随机Drop并为不同深度的注意力层设置统一的drop概率。尽管Dropout十分简单，但这种drop方式主要面临三个主要问题。首先，在softmax归一化后进行随机Drop会打破注意力权重的概率分布并且无法对权重峰值进行惩罚，从而导致模型仍会过拟合于局部特定信息（如图1）。其次，网络深层中较大的Drop概率会导致高层语义信息缺失，而浅层中较小的drop概率会
交通预测一直是一个重要的问题，它涉及到交通运输系统的可靠性和效率。随着人工智能的发展，越来越多的研究者开始使用深度学习模型来解决这个问题。其中，基于Transformer的交通预测模型在近年来备受关注，因为它们具有优秀的建模能力和较好的预测准确性。本文将介绍几个基于Transformer的交通预测模型，欢迎讨论。如有错误，也请指正。目录1.STTN（2020）2.TrafficTransformer（T-ITS2021）3.ASTGNN（TKDE2021）4.MGT（Neurocomputing2022）5.ASTTN（2022）6.PDFormer（AAAI2023）参考1.STTN（202
交通预测一直是一个重要的问题，它涉及到交通运输系统的可靠性和效率。随着人工智能的发展，越来越多的研究者开始使用深度学习模型来解决这个问题。其中，基于Transformer的交通预测模型在近年来备受关注，因为它们具有优秀的建模能力和较好的预测准确性。本文将介绍几个基于Transformer的交通预测模型，欢迎讨论。如有错误，也请指正。目录1.STTN（2020）2.TrafficTransformer（T-ITS2021）3.ASTGNN（TKDE2021）4.MGT（Neurocomputing2022）5.ASTTN（2022）6.PDFormer（AAAI2023）参考1.STTN（202
