2023，华为 1.简介由于擅长捕获了长期依赖性，基于Transformer的模型最近取了很多进展，也是研究的热点。但是作者发现Attention机制有以下问题（1）对于捕获时间相关，注意力机制性不是必需的（2）时间和channel的交互作用的捕获中的纠缠和冗余影响了预测性能，（3）对输入和预测序列之间的映射进行建模很重要。为此，我们提出了MTS混合器，它使用两个因子化模块来捕获时间和信道相关性。在多个真实数据集上的实验结果表明，MTSMixer以更高的效率优于现有的基Transformer的模型。如下图所示，多元时间序列无论是在temporal维度还是channel维度，都存在比较强的冗余性

华为在这2023年2月9日发布了一篇关于多元时间序列预测的文章，借鉴了NLP中前一阵比较热的Mixer模型，取代了Attention结构，不仅实现了效果上的提升，而且还实现了效率上的提高。1.Transformer的探讨Transformer在时间序列预测中的作用最近得到非常广泛地探讨。下图为经典Transformer时间序列预测模型图。Transformer做时间序列预测时，存在以下几个问题。首先，Temporaldependency的提取是时间序列预测的关键，而Attention机制如何实现这种信息提取还没有被合理得到解释。其次，Transformer对时间特征、Positionembed

华为在这2023年2月9日发布了一篇关于多元时间序列预测的文章，借鉴了NLP中前一阵比较热的Mixer模型，取代了Attention结构，不仅实现了效果上的提升，而且还实现了效率上的提高。1.Transformer的探讨Transformer在时间序列预测中的作用最近得到非常广泛地探讨。下图为经典Transformer时间序列预测模型图。Transformer做时间序列预测时，存在以下几个问题。首先，Temporaldependency的提取是时间序列预测的关键，而Attention机制如何实现这种信息提取还没有被合理得到解释。其次，Transformer对时间特征、Positionembed