python - 将不均匀大小的列表转换为 LSTM 输入张量

Question

所以我有一个 1366 样本的嵌套列表，每个样本具有 2 特征和不同的序列长度，这应该是输入数据一个 LSTM。标签应该是每个序列的一对值，即 [-0.76797587, 0.0713816]。本质上，数据如下所示:

X = [[[-0.11675862, -0.5416186], [-0.76797587, 0.0713816]], [[-0.5115555, 0.25823522], [0.6099151999999999, 0.21718016], [-0.0022403747, 0.6470206999999999]]]

我想做的是将此列表转换为输入张量。据我了解，LSTM 接受不同长度的序列，因此在这种情况下，第一个样本的长度为 2，第二个样本的长度为 3。

目前我正在尝试通过以下方式转换列表:

train_data = TensorDataset(torch.tensor(X, dtype=torch.float32), torch.tensor(Y, dtype=torch.float32))
train_dataloader = DataLoader(train_data, batch_size=batch_size, shuffle=True)

尽管这会产生以下错误 ValueError: expected sequence of length 5 at dim 1 (got 3)

我猜这是因为第一个序列的长度为 5，第二个序列的长度为 3，这是不可转换的？

如何将给定列表转换为张量？还是我对训练 LSTM 的方法有误？

感谢您的帮助!

Answer 1

所以正如你所说，序列长度可以不同。但是因为我们处理批处理，所以在每个批处理中序列长度无论如何都必须相同。那是因为所有样本都是同时处理的。因此，您要做的是通过采用批处理中长度最长的序列来将样本填充到相同的大小，并用零填充所有其他样本，以便它们具有相同的大小。为此你必须使用 pytorch 的 pad functionn，像这样:

from torch.nn.utils.rnn import pad_sequence

# the batch must be a python list containing the tensor samples
sample_batch = [torch.tensor((4,2)), torch.tensor((2,2)), torch.tensor((5,2))]

# pad all samples in the batch to the length of the biggest sample
padded_batch = pad_sequence(sample_batch, batch_first=True)

# get the new size of the samples and reshape it to (BATCH_SIZE, SEQUENCE/PAD_SIZE. INPUT_SIZE)
padded_to = list(padded_batch.size())[1]
padded_batch = padded_batch.reshape(len(sample_batch), padded_to, 1)

现在批处理中的所有样本都应具有 (5,2) 形状，因为最大样本的序列长度为 5。

如果您不知道如何使用 pytorch Dataloader 实现它，您可以创建一个自定义的 collat​​e_fn:

def custom_collate(batch):
    batch_size = len(batch)

    sample_batch, target_batch = [], []
    for sample, target in batch:

        sample_batch.append(sample)
        target_batch.append(target)

    padded_batch = pad_sequence(sample_batch, batch_first=True)
    padded_to = list(padded_batch.size())[1]
    padded_batch = padded_batch.reshape(len(sample_batch), padded_to, 1)        

    return padded_batch, torch.cat(target_batch, dim=0).reshape(len(sample_batch)

现在您可以告诉 DataLoader 在返回批处理之前将此函数应用于您的批处理:

train_dataloader = DataLoader(
        train_data,
        batch_size=batch_size,
        num_workers=1,
        shuffle=True,
        collate_fn=custom_collate    # <-- NOTE THIS
    )

现在 DataLoader 返回填充的批处理!