neural-network - 深度学习和时间序列 : Varying Vector Lengths

Question

这是一个关于在深度学习环境中处理不同长度的时间序列的概念性问题:

我观察到以不规则间隔出现的标准化特征，其中包括每个单独测量中的基于时间的特征。然后，我将这个多元时间序列(面板数据)展平为每个时间序列的单个连续特征向量。然后，我为这些向量的二元分类任务构建了一个深度神经网络，现在看起来像这样:

xxxx(T=2)xxxx(T=4)xxxx(T=5)
xxxx(T=1)xxxx(T=2)
xxxx(T=3)
xxxx(T=1)xxxx(T=2)xxxx(T=3)xxxx(T=5)

然后在末尾用零填充以保持相同的长度。

每个“xxxxT”代表一个观察，其中“x”是非时间特征，“T”是基于时间的特征。我的问题是，是否可以假设神经网络能够自行区分该时间序列的不规则性？

或者我真的应该填充间歇性未发生的观察结果看起来像这样(其中“0000”代表填充缺失的观察结果)？

0000(T=1)xxxx(T=2)0000(T=3)xxxx(T=4)xxxx(T=5)
xxxx(T=1)xxxx(T=2)0000(T=3)0000(T=4)0000(T=5)
0000(T=1)0000(T=2)xxxx(T=3)0000(T=4)0000(T=5)
xxxx(T=1)xxxx(T=2)xxxx(T=3)0000(T=4)xxxx(T=5)

我实际上已经这样做了，并检查了这两种方法的结果。我只是想看看是否有人可以阐明深度神经网络如何“解释”这个？

Answer 1

如果您使用的是循环网络，我认为在序列内部填充不是一个好主意。鉴于权重在时间上重复使用，它应该对“真实”数据“敏感”，而不是填充。

使用序列末尾填充，我们通过将序列长度传递给循环函数来绕过这个“假数据”，例如使用具有“sequence_length”参数的 TensorFlow 的 tf.nn.dynamic_rnn 方法。这样，序列的最后“真实”隐藏状态随时间被复制。

如果您坚持内部填充，您将需要一个在序列中复制隐藏状态的实现，就像序列末尾填充一样。

对吧？