参考:李宏毅2021/2022春机器学习课程王树森RNN&Transformer教程Transformer详解0.背景:序列数据及相关任务序列数据是由一组相互关联的样本组成的数据,其中任意样本对应的标记是由其自身和其他样本共同决定的;序列数据任务是输入或输出为序列数据的机器学习任务,用传统机器学习模型处理他们是困难的,比如序列模型(1)——难处理的序列数据中第3节的例子传统方法的局限性在于其问题建模,这些模型不是针对可变长度的输入输出设计的,无法体现序列数据的特点,具体而言传统的MLP、CNN这类模型都是one-to-one模型,即一个输入一个输出。这种模型会把序列数据作为一个整体来考虑,其输