写在最前边翻译讲究：信、达、雅。要在保障意思准确的情况下传递作者的意图，并且尽量让文本优美。但是大家对我一个理工科少女的语言要求不要太高，本文只能保证在尽量通顺的情况下还原原文。注意本文的组成部分：翻译+我的注释。添加注释是因为在阅读的过程中，我感觉有的地方可能表述的并不是特别详细。对于一些真正的小白，像我一样傻的来说，可能不太好理解。正文在之前的文章中，我们讲了现代神经网络常用的一种方法——Attention机制。本文章我们来介绍一下Transformer——用注意力机制来提高模型训练速度的模型。Transformer在某些特定任务上性能比谷歌的机器翻译模型更为优异。其优点在于并行化计算。并

写在最前边翻译讲究：信、达、雅。要在保障意思准确的情况下传递作者的意图，并且尽量让文本优美。但是大家对我一个理工科少女的语言要求不要太高，本文只能保证在尽量通顺的情况下还原原文。注意本文的组成部分：翻译+我的注释。添加注释是因为在阅读的过程中，我感觉有的地方可能表述的并不是特别详细。对于一些真正的小白，像我一样傻的来说，可能不太好理解。正文在之前的文章中，我们讲了现代神经网络常用的一种方法——Attention机制。本文章我们来介绍一下Transformer——用注意力机制来提高模型训练速度的模型。Transformer在某些特定任务上性能比谷歌的机器翻译模型更为优异。其优点在于并行化计算。并

各位朋友大家好，欢迎来到月来客栈。今天要和大家介绍的一篇论文是谷歌2017年所发表的一篇论文，名字叫做”Attentionisallyouneed“[1]。以下为文章目录，大家可以快速定位到自己关注部分的内容。1.多头注意力机制原理1.1动机虽然，网上已经有了大量的关于这篇论文的解析，不过好菜不怕晚笔者在这里也会谈谈自己对于它的理解以及运用。按照我们一贯解读论文的顺序，首先让我们先一起来看看作者当时为什么要提出Transformer这个模型？需要解决什么样的问题？现在的模型有什么样的缺陷？1.1.1面临问题在论文的摘要部分作者提到，现在主流的序列模型都是基于复杂的循环神经网络或者是卷积神经网络

各位朋友大家好，欢迎来到月来客栈。今天要和大家介绍的一篇论文是谷歌2017年所发表的一篇论文，名字叫做”Attentionisallyouneed“[1]。以下为文章目录，大家可以快速定位到自己关注部分的内容。1.多头注意力机制原理1.1动机虽然，网上已经有了大量的关于这篇论文的解析，不过好菜不怕晚笔者在这里也会谈谈自己对于它的理解以及运用。按照我们一贯解读论文的顺序，首先让我们先一起来看看作者当时为什么要提出Transformer这个模型？需要解决什么样的问题？现在的模型有什么样的缺陷？1.1.1面临问题在论文的摘要部分作者提到，现在主流的序列模型都是基于复杂的循环神经网络或者是卷积神经网络

参考：李宏毅2021/2022春机器学习课程王树森RNN&Transformer教程Transformer详解0.背景：序列数据及相关任务序列数据是由一组相互关联的样本组成的数据，其中任意样本对应的标记是由其自身和其他样本共同决定的；序列数据任务是输入或输出为序列数据的机器学习任务，用传统机器学习模型处理他们是困难的，比如序列模型（1）——难处理的序列数据中第3节的例子传统方法的局限性在于其问题建模，这些模型不是针对可变长度的输入输出设计的，无法体现序列数据的特点，具体而言传统的MLP、CNN这类模型都是one-to-one模型，即一个输入一个输出。这种模型会把序列数据作为一个整体来考虑，其输

参考：李宏毅2021/2022春机器学习课程王树森RNN&Transformer教程Transformer详解0.背景：序列数据及相关任务序列数据是由一组相互关联的样本组成的数据，其中任意样本对应的标记是由其自身和其他样本共同决定的；序列数据任务是输入或输出为序列数据的机器学习任务，用传统机器学习模型处理他们是困难的，比如序列模型（1）——难处理的序列数据中第3节的例子传统方法的局限性在于其问题建模，这些模型不是针对可变长度的输入输出设计的，无法体现序列数据的特点，具体而言传统的MLP、CNN这类模型都是one-to-one模型，即一个输入一个输出。这种模型会把序列数据作为一个整体来考虑，其输