草庐IT

【时序】LSTNet:结合 CNN、RNN 以及 AR 的时间序列预测模型

论文名称:ModelingLong-andShort-TermTemporalPatternswithDeepNeuralNetworks论文下载:https://dl.acm.org/doi/abs/10.1145/3209978.3210006论文年份:SIGIR2018论文被引:594(2022/04/21)论文代码:https://github.com/laiguokun/LSTNet论文数据:https://github.com/laiguokun/multivariate-time-series-dataABSTRACTMultivariatetimeseriesforecasti

LSTNet--结合时间注意力机制的LSTM模型(附源码)

一、引言    LSTM出现以来,在捕获时间序列依赖关系方面表现出了强大的潜力,直到Transformer的大杀四方。但是,就像我在上一篇博客《RNN与LSTM原理浅析》末尾提到的一样,虽然Transformer在目标检测、目标识别、时间序列预测等各领域都有着优于传统模型的表现,甚至是压倒性的优势。但Transformer所依赖的Multi-HeadAttention机制给模型带来了巨大的参数量与计算开销,这使得模型难以满足实时性要求高的任务需求。我也提到,LSTM想与Transformer抗衡,似乎应该从注意力机制方面下手。事实上,已经有研究这么做了,那就是LSTNet。二、LSTNet