关于除了attention其他的transformer部分，结合看的transformer论文及自己的其他查询资料总结如下：一、MASK mask操作在sequence类操作很常见，因为定长输入的序列很多时候存在填充情况，不利用mask参数告诉模型无意义填充值，会导致无效学习，甚至由于梯度传播的梯度消失问题，还会影响模型效果。而对于transform模型，除了类似sequence模型存在的需要paddingmask的情况，还在decode部分，需要对于decode进行未来数据的遮蔽，进行sequencemask，具体如下，以下参考博客：Transformer模型详解_XP-Code的
Meta-Transformer是一个用于多模态学习的新框架，用来处理和关联来自多种模态的信息，如自然语言、图像、点云、音频、视频、时间序列和表格数据，虽然各种数据之间存在固有的差距，但是Meta-Transformer利用冻结编码器从共享标记空间的输入数据中提取高级语义特征，不需要配对的多模态训练数据。该框架由统一的数据标记器、模式共享编码器和用于各种下游任务的任务头组成。它是在不同模式下使用未配对数据执行统一学习的第一次努力。实验表明，它可以处理从基础感知到实际应用和数据挖掘的广泛任务。Meta-Transformer数据到序列的令牌标记研究人员提出了一种元标记化方案，将来自不同模式(如文
近日，上海人工智能实验室和OpenNLPLab的一个研究团队提出了一种新的大型语言模型TransNormerLLM，其中完全抛弃了基于Softmax的注意力机制，而是使用了新提出的线性注意力。据介绍，TransNormerLLM是首个基于线性注意力的大型语言模型（LLM），其在准确度和效率方面的表现优于传统的基于Softmax注意力的模型。研究者也将发布其预训练模型的开源版本。论文：https://arxiv.org/abs/2307.14995模型：https://github.com/OpenNLPLab/TransnormerLLM大型语言模型已经为自然语言处理（NLP）领域带来了变革。
分享一篇阅读的用于弱监督分割的论文论文标题：TransCAM:TransformerAttention-basedCAMRefinementforWeaklySupervisedSemanticSegmentation作者信息：代码地址：https://github.com/liruiwen/TransCAMAbstract大多数现有的WSSS方法都是基于类激活映射（CAM）来生成像素级的伪标签，用于监督训练。但是基于CNN的WSSS方法只是凸出最具有区别性的地方，即CAM部分激活而不是整体对象。作者提出了TransCAM模型，它基于Conforme的backbone结构，利用transfor
「我发现注意力公式里有个bug，八年了都没有人发现。所有Transformer模型包括GPT、LLaMA都受到了影响。」昨天，一位名叫EvanMiller的统计工程师的话在AI领域掀起了轩然大波。我们知道，机器学习中注意力公式是这样的：图片自2017年Transformer问世，这个公式已被广泛使用，但现在，EvanMiller发现这个公式是错的，有bug！EvanMiller的这篇博客解释了当前流行的AI模型如何在关键位置出现错误，并使得所有Transformer模型都难以压缩和部署。总结而言，EvanMiller引入了一种新函数QuietAttention，也叫Softmax_1，这是对传
「注意力公式」中存在了8年的bug，竟被国外小哥发现了？瞬间，这个话题就在网上炸开了锅。现在基于Transformer打造的主流模型，GPT-4、Lalma2、PaLM等都将受到影响。Eppo初创公司的工程师EvanMiller今天在博客中介绍了这一重大发现，并表示：研究人员上个月分离了bug——但是他们误失了一个简单的解决方案，「为什么LLM设计人员应该停止使用Softmax？」图片那么，究竟是什么bug，能够暗藏8年？作者在博文中，引用了维特根斯坦别有蕴意的一句话，「对于无法言说之事，必须保持沉默」。图片注意力是OffByOne这篇博文标题为「注意力是OffByOne」。图片你能看到这个公
一、介绍1.1背景2017年，Google的一篇 AttentionIsAllYouNeed 为我们带来了Transformer，其在NLP领域的重大成功展示了它对时序数据的强大建模能力，自然有人想要把Transformer应用到时序数据预测上。在Transformer的基础上构建时序预测能力可以突破以往的诸多限制，最明显的一个增益点是，TransformerforTS可以基于Multi-headAttention结构具备同时建模长期和短期时序特征的能力。本文将要介绍的一个充分利用了Transformer的优势，并在Transformer的基础上改进了Attention的计算方式以适应时序数据
AttentionIsAllYouNeedTransformer原文解读与细节复现导读在Transformer出现以前，深度学习的基础主流模型可分为卷积神经网络CNN、循环神经网络RNN、图对抗神经网络GAN。而Transformer的横空出世，吸引了越来越多的研究者的关注：Transformer不仅在NLP领域取得了耀眼的成绩，近年来甚至一度屠榜CV领域的各大比赛，热度超前。所以，基于之前对Transformer的研究与理解，更基于对新技术的好奇与渴求，接下来的几篇文章我会从最经典的Transformer结构出发，沿着NLP和CV两大主线，为大家讲解几篇影响力巨大的paper。前言Trans
1摘要Transformer一直是自然语言处理(NLP)和计算机视觉(CV)的核心。NLP和CV的巨大成功激发了研究者对Transformer在点云处理中的使用的探索。但是，Transformer如何应对点云的不规则性和无序性？Transformer对不同的3D表示（例如点云或体素）的适用性如何？Transformer对各种3D处理任务的能力如何？到目前为止，还没有对这些问题的研究进行系统的调查。论文全面概述了用于3D点云分析的Transformer算法。首先介绍Transformer结构的理论并回顾其在2D/3D领域的应用。然后，提出了三种不同的分类法（即基于实现、数据表示和任务），可以从多
1摘要Transformer一直是自然语言处理(NLP)和计算机视觉(CV)的核心。NLP和CV的巨大成功激发了研究者对Transformer在点云处理中的使用的探索。但是，Transformer如何应对点云的不规则性和无序性？Transformer对不同的3D表示（例如点云或体素）的适用性如何？Transformer对各种3D处理任务的能力如何？到目前为止，还没有对这些问题的研究进行系统的调查。论文全面概述了用于3D点云分析的Transformer算法。首先介绍Transformer结构的理论并回顾其在2D/3D领域的应用。然后，提出了三种不同的分类法（即基于实现、数据表示和任务），可以从多
