各位朋友大家好，欢迎来到月来客栈。今天要和大家介绍的一篇论文是谷歌2017年所发表的一篇论文，名字叫做”Attentionisallyouneed“[1]。以下为文章目录，大家可以快速定位到自己关注部分的内容。1.多头注意力机制原理1.1动机虽然，网上已经有了大量的关于这篇论文的解析，不过好菜不怕晚笔者在这里也会谈谈自己对于它的理解以及运用。按照我们一贯解读论文的顺序，首先让我们先一起来看看作者当时为什么要提出Transformer这个模型？需要解决什么样的问题？现在的模型有什么样的缺陷？1.1.1面临问题在论文的摘要部分作者提到，现在主流的序列模型都是基于复杂的循环神经网络或者是卷积神经网络

参考：李宏毅2021/2022春机器学习课程王树森RNN&Transformer教程Transformer详解0.背景：序列数据及相关任务序列数据是由一组相互关联的样本组成的数据，其中任意样本对应的标记是由其自身和其他样本共同决定的；序列数据任务是输入或输出为序列数据的机器学习任务，用传统机器学习模型处理他们是困难的，比如序列模型（1）——难处理的序列数据中第3节的例子传统方法的局限性在于其问题建模，这些模型不是针对可变长度的输入输出设计的，无法体现序列数据的特点，具体而言传统的MLP、CNN这类模型都是one-to-one模型，即一个输入一个输出。这种模型会把序列数据作为一个整体来考虑，其输

参考：李宏毅2021/2022春机器学习课程王树森RNN&Transformer教程Transformer详解0.背景：序列数据及相关任务序列数据是由一组相互关联的样本组成的数据，其中任意样本对应的标记是由其自身和其他样本共同决定的；序列数据任务是输入或输出为序列数据的机器学习任务，用传统机器学习模型处理他们是困难的，比如序列模型（1）——难处理的序列数据中第3节的例子传统方法的局限性在于其问题建模，这些模型不是针对可变长度的输入输出设计的，无法体现序列数据的特点，具体而言传统的MLP、CNN这类模型都是one-to-one模型，即一个输入一个输出。这种模型会把序列数据作为一个整体来考虑，其输