tensorflow - 如何从序列模型中的给定数据集创建训练-开发-测试集

Question

假设我们有以下数据集，其中“s”代表“step”。

f1  f2  f3  f4  target
1   2   3   4     5
2   3   4   5     6
3   4   5   6     7
4   5   6   7     8
5   6   7   8     9

该模型由 4 个(时间)步骤组成。它给出一个数字作为输出(目标)。在第一个样本中，step1 输入为 1，step2 输入为 2，step3 输入为 3，step4 输入为 4。我们将训练一个序列模型(使用 RNN、LSTM 或其他模型)，然后输出“5” “对于这个特定的序列。其他示例的逻辑也是相同的。

我关心如何将这样的数据集分为训练集和开发集。 (暂时忽略测试集。)

替代方案 1:假设前 3 个样本构成训练集，后面 2 个样本构成开发集，如下所示。

火车组:

f1  f2  f3  f4  target
1   2   3   4     5
2   3   4   5     6
3   4   5   6     7

开发集:

f1  f2  f3  f4  target
4   5   6   7     8
5   6   7   8     9

我担心的是:如果你查看最后一个训练集样本 ([3, 4, 5, 6], 7) 和第一个开发集样本 ([4, 5, 6, 7], 8)，你会发现将看到 3 个输入步骤是相同的​​。 (即使其他开发集示例也存在类似的问题。)

Q1:是否存在某些输入步骤相同的问题？或者我们可以说这并不重要，只是因为(1)即使输入步骤相同，它们也会在序列的不同步骤中使用，并且(2)每个序列示例的目标值仍然不同。

问题2:针对上面的问题，应该如何创建测试集？

Answer 1

是的，这并不重要，因为它们处于不同的时间步长，并且序列也不相同。他们也有不同的目标。因此，如果你训练得好你的模型，你的模型肯定应该学会预测下一个角色。