tensorflow - 在 Tensorflow 中使用重叠数据进行训练？

Question

我正在尝试训练神经网络来使用时间序列数据进行预测。我正在尝试训练一个神经网络来预测 future 10 分钟的温度，假设我每 5 分钟就有一个温度数据点，我想给它 15 分钟的数据用于预测，并且我的数据有的是这个。

[1,2,3,4,5,6,7,8,9,10,11,12]

因此，如果我要对数据进行训练，一个潜在的训练样本是 [1,2,3] 作为 x，[5] 作为 y(因为它是 future 10 分钟(两个 5 分钟的步骤))。

我想要一种方法来训练所有可能的输入，如下。

[1,2,3][5]
[2,3,4][6]
[3,4,5][7]
[4,5,6][8]
[5,6,7][9]
[6,7,8][10]
[7,8,9][11]
[8,9,10][12]

但我不想通过首先将每个可能的示例保存到磁盘然后从中进行训练来进行训练。由于数据是重复的，这会占用比所需更多的空间。我想通过某种数据预处理来做到这一点。

我发现的使用 tensorflow 输入管道的所有说明和示例，例如这里 https://www.tensorflow.org/guide/datasets全部使用“非重叠”数据，我找不到任何东西来处理我的场景。

我遇到的问题是我真的不知道如何在 tensorflow 中设置这种重叠数据场景而不将大量重复数据保存到磁盘。如果有人有关于最佳方法的任何链接或指南，我将非常感激，谢谢。

Answer 1

您可能正在寻找这种转变:https://www.tensorflow.org/api_docs/python/tf/contrib/data/sliding_window_batch

tf.contrib.data.sliding_window_batch(window_size=3, stride=1)