来源

有多个来源解释了有状态/无状态 LSTM 以及我已经阅读过的 batch_size 的作用。我稍后会在我的帖子中提到它们:

[ 1 ] https://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/

[ 2 ] https://machinelearningmastery.com/stateful-stateless-lstm-time-series-forecasting-python/

[ 3 ] http://philipperemy.github.io/keras-stateful-lstm/

[ 4 ] https://machinelearningmastery.com/use-different-batch-sizes-training-predicting-python-keras/

还有其他 SO 线程，如 Understanding Keras LSTMs和 Keras - stateful vs stateless LSTMs然而，这并没有完全解释我在寻找什么。

我的问题

我仍然不确定在状态性和确定 batch_size 方面我的任务的正确方法是什么。

我有大约 1000 个独立的时间序列(samples)，每个时间序列(timesteps)的长度约为 600 天(实际上是可变长度，但我考虑过修剪数据到一个恒定的时间帧)，每个时间步长有 8 个特征(或 input_dim)(一些特征与每个样本相同，一些特征与每个样本相同)。

输入形状 = (1000, 600, 8)

其中一个特征是我要预测的特征，而其他特征(应该是)支持预测这个“主特征”。我将为 1000 个时间序列中的每一个都这样做。对此问题建模的最佳策略是什么？

输出形状 = (1000, 600, 1)

什么是批处理？

来自 [ 4 ]:

Keras uses fast symbolic mathematical libraries as a backend, such as TensorFlow and Theano.

A downside of using these libraries is that the shape and size of your data must be defined once up front and held constant regardless of whether you are training your network or making predictions.

[…]

This does become a problem when you wish to make fewer predictions than the batch size. For example, you may get the best results with a large batch size, but are required to make predictions for one observation at a time on something like a time series or sequence problem.

在我看来，这听起来像是一个“批处理”会沿着 timesteps 维度拆分数据。

但是，[ 3 ] 指出:

Said differently, whenever you train or test your LSTM, you first have to build your input matrix X of shape nb_samples, timesteps, input_dim where your batch size divides nb_samples. For instance, if nb_samples=1024 and batch_size=64, it means that your model will receive blocks of 64 samples, compute each output (whatever the number of timesteps is for every sample), average the gradients and propagate it to update the parameters vector.

当深入研究 [ 1 的例子时] 和 [ 4 ]，Jason 总是将他的时间序列拆分为几个仅包含 1 个时间步长的样本(在他的示例中，前任完全确定了序列中的下一个元素)。所以我认为批处理实际上是沿着 samples 轴拆分的。 (然而，他的时间序列拆分方法对我来说对于长期依赖问题没有意义。)

结论

假设我选择 batch_size=10，这意味着在一个时期内，权重更新 1000/10 = 100 次，随机选择 10 个，完整的时间序列包含 600 x 8 个值，并且当稍后我想用模型进行预测，我总是必须将 10 个完整时间序列分批输入(或使用 [ 4 ] 中的解决方案 3，将权重复制到新模型具有不同的 batch_size)。

了解 batch_size 的原理 – 但是仍然不知道什么是 batch_size 的合适值。 以及如何确定它

有状态

KERAS documentation告诉我们

You can set RNN layers to be 'stateful', which means that the states computed for the samples in one batch will be reused as initial states for the samples in the next batch.

如果我将我的时间序列分成几个样本(如 [ 1 ] 和 [ 4 ] 的示例)，那么我想建模的依赖项跨越多个批处理，或者批处理跨越样本以其他方式相互关联，我可能需要一个有状态的网络，否则不需要.这是一个正确而完整的结论吗？

所以对于我的问题，我想我不需要有状态的网络。我会将我的训练数据构建为形状为 (samples, timesteps, features) 的 3D 数组，然后调用 model.fit 并确定 batch_size。示例代码可能如下所示:

model = Sequential()
model.add(LSTM(32, input_shape=(600, 8)))   # (timesteps, features)
model.add(LSTM(32))
model.add(LSTM(32))
model.add(LSTM(32))
model.add(Dense(1, activation='linear'))
model.compile(loss='mean_squared_error', optimizer='adam')
model.fit(X, y, epochs=500, batch_size=batch_size, verbose=2)

最佳答案

让我通过一个例子来解释它:

假设您有以下系列:1,2,3,4,5,6,...,100。您必须决定您的 lstm 将学习多少个时间步长，并据此 reshape 您的数据。如下所示:

如果您决定 time_steps = 5，则必须以这种方式将时间序列 reshape 为样本矩阵:

1,2,3,4,5 -> sample1

2,3,4,5,6 -> sample2

3,4,5,6,7 -> sample3

etc...

这样，您将得到一个形状矩阵(96 个样本 x 5 个时间步长)

此矩阵应 reshape 为 (96 x 5 x 1)，表明 Keras 您只有 1 个时间序列。如果您有更多并行时间序列(如您的情况)，则对每个时间序列执行相同的操作，因此您将以每个形状(96 个样本 x 5 个时间步长)的 n 个矩阵(每个时间序列一个)结束。

为了论证，假设您有 3 个时间序列。您应该将所有三个矩阵连接成一个形状张量(96 个样本 x 5 个时间步长 x 3 个时间序列)。这个例子的第一层 lstm 是:

    model = Sequential()
    model.add(LSTM(32, input_shape=(5, 3)))

作为第一个参数的 32 完全由您决定。这意味着在每个时间点，你的3个时间序列将变成32个不同的变量作为输出空间。将每个时间步视为具有 3 个输入和 32 个输出但具有与 FC 层不同的计算的完全连接层更容易。

如果您要堆叠多个 lstm 层，请使用 return_sequences=True 参数，这样该层将输出整个预测序列，而不仅仅是最后一个值。

您的目标应该是您要预测的系列中的下一个值。

将所有内容放在一起，假设您有以下时间序列:

时间序列 1(主):1,2,3,4,5,6,..., 100

时间序列 2(支持):2,4,6,8,10,12,..., 200

时间序列 3(支持):3,6,9,12,15,18,..., 300

创建输入张量和目标张量

x     -> y

1,2,3,4,5 -> 6

2,3,4,5,6 -> 7

3,4,5,6,7 -> 8

reformat the rest of time series, but forget about the target since you don't want to predict those series

创建你的模型

    model = Sequential()
    model.add(LSTM(32, input_shape=(5, 3), return_sequences=True)) # Input is shape (5 timesteps x 3 timeseries), output is shape (5 timesteps x 32 variables) because return_sequences  = True
    model.add(LSTM(8))  # output is shape (1 timesteps x 8 variables) because return_sequences = False
    model.add(Dense(1, activation='linear')) # output is (1 timestep x 1 output unit on dense layer). It is compare to target variable.

编译并训练。一个好的批量大小是 32。批量大小是为了加快计算而拆分样本矩阵的大小。只是不要使用有状态

关于python - 了解 Keras LSTM : Role of Batch-size and Statefulness，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/48491737/