python - 时间序列上的 LSTM 自动编码器

Question

我目前正在尝试实现一个 LSTM 自动编码器，以便将交易时间序列(Berka 数据集)压缩为较小的编码向量。我正在处理的数据看起来像 this(它是整个时间内单个帐户的累计余额)。

我决定使用 Keras，并尝试按照 this 创建一个简单的自动编码器教程。该模型不起作用。

我的代码是这样的:

import keras
from keras import Input, Model
from keras.layers import Lambda, LSTM, RepeatVector
from matplotlib import pyplot as plt
from scipy import io
from sklearn.preprocessing import MinMaxScaler
import numpy as np

class ResultPlotter(keras.callbacks.Callback):
    def on_epoch_end(self, epoch, logs={}):
        plt.subplots(2, 2, figsize=(10, 3))
        indexes = np.random.randint(datapoints, size=4)
        for i in range(4):
            plt.subplot(2, 2, i+1)
            plt.plot(sparse_balances[indexes[i]])
            result = sequence_autoencoder.predict(sparse_balances[0:1])
            plt.plot(result.T)
            plt.xticks([])
            plt.yticks([])
        plt.tight_layout()
        plt.show()
        return

result_plotter = ResultPlotter()

sparse_balances = io.mmread("my_path_to_sparse_balances.mtx")
sparse_balances = sparse_balances.todense()
scaler = MinMaxScaler(feature_range=(0, 1))
sparse_balances = scaler.fit_transform(sparse_balances)

N = sparse_balances.shape[0]
D = sparse_balances.shape[1]


batch_num = 32
timesteps = 500
latent_dim = 32
datapoints = N

model_inputs = Input(shape=(timesteps,))
inputs = Lambda(lambda x: keras.backend.expand_dims(x, -1))(model_inputs)
encoded = LSTM(latent_dim)(inputs)
decoded = RepeatVector(timesteps)(encoded)
decoded = LSTM(1, return_sequences=True)(decoded)
decoded = Lambda(lambda x: keras.backend.squeeze(x, -1))(decoded)
sequence_autoencoder = Model(model_inputs, decoded)
encoder = Model(model_inputs, encoded)

earlyStopping = keras.callbacks.EarlyStopping(monitor='loss', patience=5, verbose=0, mode='auto')

sequence_autoencoder.compile(loss='mean_squared_error', optimizer='adam')

sequence_autoencoder.fit(sparse_balances[:datapoints], sparse_balances[:datapoints],
                         batch_size=batch_num, epochs=100,
                        callbacks=[earlyStopping, result_plotter])

我不会添加用于生成 sparse_balanced.mtx 的代码，以保持一切清晰，请随时索取它，我会发布它。

问题是自动编码器似乎卡在了预测 single line 上。 ，而不是返回紧密跟随输入趋势的输出，但经过广泛的研究我仍然必须找到解决方案。我做了一些实验，使用密集层作为模型的潜在输出部分，它能够返回 much better results。 .

接下来的问题是:假设通过使用 LSTM->Dense 或 Dense->Dense 自动编码器我能够获得不错的结果，而使用 Dense->LSTM 和 LSTM->LSTM 会导致相同的错误预测, 问题出在我的模型中、概念中还是其他地方？

非常感谢每条评论，谢谢。

Answer 1

问题是我的数据集太小众了，无法轻易地被 LSTM 自动编码。我目前正在写关于交易生成的硕士论文，我详分割析了这个问题。如果您没有特别使用这个数据集，我建议尝试使用一些与时间相关的合成数据，例如正弦波、锯齿波等，因为模型应该能够在这些数据上正常工作。如果它仍然不起作用，则可能是您的代码中存在一些错误。