python - 为分组数据的 RNN 生成具有特定长度的序列/批处理

Question

当我希望将来自不同组的数据传递到 RNN 时，问题就出现了——大多数示例假设优雅的时间序列，但是在添加组时，我们不能简单地在数据帧上加窗，我们需要在组更改时跳转，以便数据来自集团内部。

这些组只是不同的人，所以我想将它们的顺序保密。例如。浏览网站的用户和我们收集的网页浏览数据。或者它可能是不同的股票及其相关的价格变动。

import pandas as pd
data = {
    'group_id': [1,1,1,1,2,2],
    'timestep': [1,2,3,4,1,2],
    'x': [6,5,4,3,2,1],
    'y': [0,1,1,1,0,1]
}
df = pd.DataFrame(data=data)


   group_id  timestep  x  y
0         1         1  6  0
1         1         2  5  1
2         1         3  4  1
3         1         4  3  1
4         2         1  2  0
5         2         2  1  1

假设我们想使用 2 个样本的批量大小，并且每个样本都有 3 个时间步长。 RNNSequence.__len__ = 3(下)批处理，但这是不可能的，因为我们最多可以从第一组(即 1 批处理)中获得 2 个样本。第二组只有 2 个时间步，所以迭代是不可能的。

from keras.utils import Sequence

class RNNSequence(Sequence):

    def __init__(self, x_set, y_set, batch_size, seq_length):
        self.x, self.y = x_set, y_set
        self.batch_size = batch_size
        self.seq_length = seq_length

    def __len__(self):
        return int(np.ceil(len(self.x) / float(self.batch_size)))

    def __getitem__(self, idx):
        # get_batch to be coded
        return get_batch(idx, self.x, self.y, self.batch_size, self.seq_length)

使用序列获取这些批处理的最有效方法是什么？

我的解决方案实际上是不使用 Sequence，而是使用自定义生成器来输出数据，而事先不知道会有多少批处理。并使用 fit_generator(custom_generator, max_queue_size=batch_size) 代替。这是最有效的方法吗？这里的问题是没有洗牌，这可能是个问题？

batchsize=2，seq_length=3 的期望输出是:

X = [ 
        [ [6], [5], [4] ], 
        [ [5], [4], [3] ] 
    ]

Y = [ 1, 1 ]

Answer 1

看来您不仅需要知道批处理的数量，还需要能够仅在给定批处理编号的情况下输出任何批处理。您可以在 RNNSequence.__init__ 或更早版本中创建所有样本的索引，然后从中组装批处理。在 __getitem__ 中，您可以相应地输出批处理。

这个快速而肮脏的伪代码应该说明示例索引的概念。如果需要，您可能会决定使用 pandas 或 numpy 中的函数等。

# Pseuducode for generating indexes for where samples start.
seq_len = 3
sample_start_ids = []
for group_id, group in enumerate(groups):
    for timestep_id, timestep in enumerate(group_timesteps):
        # Only add as sample if it is the first
        # timestep in the group or if a full sample fits.
        if timestep == 1 or timestep <= len(group_timesteps) - seq_len+1:
            sample_start_ids.append((group_id, timestep_id))

num_samples = len(sample_start_ids)

# Group the samples into batches of appropriate size.
pass

num_batches = len(your_batches)