python - 使用 torchnlp 进行文本分类

Question

我正在尝试使用 构建一个神经网络pytorch-nlp ( https://pytorchnlp.readthedocs.io/en/latest/ )。
我的意图是建立一个这样的网络:

嵌入层(使用pytorch标准层和from_pretrained方法)

带 LSTM 的编码器(也使用标准 nn.LSTM)

注意机制(使用 torchnlp.nn.Attention)

解码器 siwth LSTM(作为编码器)

线性层标准

我遇到了输入句子维度的主要问题(每个单词都是一个向量)，但最重要的是注意力层:我不知道如何声明它，因为我需要编码器输出的确切维度，但序列有不同的维度(对应于句子有不同数量的单词)。
我试过看 torch.nn.utils.rnn.pad_packed_sequence和 torch.nn.utils.rnn.pack_padded_sequence因为它们受 LSTM 支持，但我找不到解决方案。
谁能帮我？
编辑
我考虑将所有序列填充到特定维度，但我不想截断更长的序列，因为我想保留所有信息。

Answer 1

您在正确的轨道上将所有序列填充到特定维度。您必须选择一个大于“大多数”句子的维度，但您需要截断一些句子。此 blog article应该有帮助。