写在前面在本文中，我们利用Nixtla的NeuralForecast框架，实现多种基于Transformer的时序预测模型，包括：Transformer,Informer,Autoformer,FEDformer和PatchTST模型，并且实现将它们应用于股票价格预测的简单例子。1NeuralForecastneuralforecast是一个旨在为时间序列预测提供一个丰富的、高度可用和鲁棒的神经网络模型集合的工具库。这个库集成了从传统的多层感知器（MLP）和递归神经网络（RNN）到最新的模型如N-BEATS、N-HiTS、TFT，以及其他高级架构，以适应多样化的预测需求。它的关键功能包括对静态
目录一、Informer代码运行过程记录2.1环境配置2.2数据集下载2.3源码运行一、Informer代码运行过程记录Informer代码源码算比较简单的了，比如三维重建这些才是真的复杂的。2.1环境配置版本一般向下兼容，不建议一个项目一个环境，先缺啥补啥，都是可以实现的。2.2数据集下载GitHub官网链接地址即可下载，查看各数据的格式与参数，作者的开源比较完备，包含ETT（变压器温度）、ECL（耗电量）和WTH（气象）3个数据集，采用PyTorch实现且没有特殊包依赖的模型代码。比如下面的例子：WTH.csv数据集是按小时收集的指标,分别是风变、…、等特征变量，**第一个必须是采样时间，
论文标题：FEDformer:FrequencyEnhancedDecomposedTransformerforLong-termSeriesForecasting论文链接：https://arxiv.org/abs/2201.12740代码链接：https://github.com/DAMO-DI-ML/ICML2022-FEDformer摘要尽管基于变压器的方法显著改善了长期序列预测的最新结果，但它们不仅计算成本高，更重要的是，无法捕捉时间序列的全局视图(例如总体趋势)。为了解决这些问题，我们提出将Transformer与季节趋势分解方法相结合，其中分解方法捕捉时间序列的全局轮廓，而Tra
参数设置如下，--seq_len 是96--label_len是48--pred_len是96也就是说，输入是96的，预测96.batch_x是（1,96,7）的维度的。batch_x_mark是（1,96,4）的维度的。batch_y的维度是（1,144,7）的维度的。batch_y_mark的维度是（1,144,4）的维度的。然后，decoder的维度是， （1,96,7）的维度的，全都是0的元素。 然后变成了（1,144,7）的维度，下面都是（1,96,7）的0元素。为什么会有这种情况？来看FEDformer的preliminary：也就是说encoder的输入的尺寸是1,96,4，也就
系列文章链接论文一：2020Informer：长时序数据预测论文二：2021Autoformer：长序列数据预测论文三：2022FEDformer：长序列数据预测论文四：2022Non-StationaryTransformers：非平稳性时序预测论文五：2022Pyraformer：基于金字塔图结构的时序预测论文六：2023Crossformer：多变量时序预测论文七：2023LTSF-Linear：质疑transformer能力的线性预测模型论文地址：https://arxiv.org/abs/2201.12740github地址：https://github.com/MAZiqing/F
2022ICML1Intro长时间序列问题是一个研究很广泛的问题RNN以及变体会遇到梯度消失/梯度爆炸，这会在很大程度上限制他们的表现Transformer的方法会导致很高的计算复杂度，以及很大的内存消耗，这也会使得在长时间序列上使用Transformer很吃力近来有方法优化Transformer，使其计算复杂度降低但他们大多的思路是少取一些QK对，这就可能导致信息的丢失，进而影响预测的精准度有与此同时，使用Transformer的方法，会在一定程度上难以捕获时间序列的整体特征/分布 比如上图，不难发现预测的结果和实际值，二者的分布有着一定的差距这可能由于Transformer使用的是poin
本章内容文章概况模型流程主要结构FrequencyEnhancedDecompositionArchitecture（频率增强分解结构）FourierenhancedblocksandWaveletenhancedblocks（傅里叶增强模块和小波增强模块）FourierEnhancedStructure（傅里叶增强结构）FrequencyEnhancedBlockwithFourierTransform（FEB-f）FrequencyEnhancedAttentionwithFourierTransform(FEA-f)WaveletEnhancedStructure（小波增强结构）Freq
