python-3.x - 连续训练多个 Sequential 模型速度变慢

Question

我正在使用 Keras/TensorFlow (GPU) 创建时间序列预测模型。我有 100 倍的时间序列，想为每个序列训练一个网络。

连续运行几个时间序列很好，但是一旦我运行 100 倍或 1000 倍，那么每个模型的训练时间似乎会缓慢增加(但肯定会增加)。这有一个简单的原因吗？

下面是重现问题的代码(请注意，它可能需要一段时间才能运行)。

https://gist.github.com/mannsi/c5666c4b786c35c3443beea6d13a32fe

在我的机器上，第一次迭代需要 10 秒，迭代 #250 需要 16 秒，迭代 #500 需要 25 秒。

我是神经网络和 Keras/TF 的新手，所以这可能是完全正常的，但我在进行粗略的时间计算时没有考虑到这一点。

系统信息:

python 3.5

keras (1.2.2)

tensorflow -GPU(1.0.0)

编辑:我在 TensorFlow CPU 后端测试了相同的代码，我在那里看到了完全相同的行为。

Answer 1

每次迭代的计算图中可能会产生一些开销。使用 Keras 后端功能 K.clear_session()在每次运行之间重置底层 Tensorflow session 。