pytorch - Torchtext 0.7 显示 Field 已被弃用。什么是替代方案？

Question

看起来之前声明字段、示例和使用 BucketIterator 的范式已被弃用，并将在 0.8 中转移到旧版。但是，我似乎无法找到不使用 Field 的自定义数据集的新范式示例(例如，不是 torch.datasets 中包含的那些)。谁能给我指出一个最新的例子？
弃用引用:
https://github.com/pytorch/text/releases

Answer 1

我自己花了一点时间才找到解决方案。对于预构建的数据集，新范式是这样的:

from torchtext.experimental.datasets import AG_NEWS
train, test = AG_NEWS(ngrams=3)

或者对于自定义构建的数据集也是如此:

from torch.utils.data import DataLoader
def collate_fn(batch):
    texts, labels = [], []
    for label, txt in batch:
        texts.append(txt)
        labels.append(label)
    return texts, labels
dataloader = DataLoader(train, batch_size=8, collate_fn=collate_fn)
for idx, (texts, labels) in enumerate(dataloader):
    print(idx, texts, labels)

我复制了 Source 中的示例