gpt4 book ai didi

python - 使用 pytorch 进行多类句子分类(使用 nn.LSTM)

转载 作者:行者123 更新时间:2023-11-30 09:14:21 25 4
gpt4 key购买 nike

我有这个网络,是我从 this 获取的教程,我希望有句子作为输入(这已经完成),并且结果只是一个单行张量。

从教程中,这句话“John's dog likes food”返回一个 1 列张量:

tensor([[-3.0462, -4.0106, -0.6096],
[-4.8205, -0.0286, -3.9045],
[-3.7876, -4.1355, -0.0394],
[-0.0185, -4.7874, -4.6013]])

...和类(class)列表:

tag_list[ “name”, “verb”, “noun”]

每一行都有一个标签与该单词关联的概率。 (第一个单词具有 [-3.0462, -4.0106, -0.6096] 向量,其中最后一个元素对应于最大评分标签“名词”)

本教程的数据集如下所示:

training_data = [
("The dog ate the apple".split(), ["DET", "NN", "V", "DET", "NN"]),
("Everybody read that book".split(), ["NN", "V", "DET", "NN"])
]

我希望我的格式是这样的:

training_data = [
("Hello world".split(), ["ONE"]),
("I am dog".split(), ["TWO"]),
("It's Britney glitch".split(), ["THREE"])
]

参数定义为:

class LSTMTagger(nn.Module):
def __init__(self, embedding_dim, hidden_dim, vocab_size, tagset_size):
super(LSTMTagger, self).__init__()
self.hidden_dim = hidden_dim
self.word_embeddings = nn.Embedding(vocab_size, embedding_dim)
self.lstm = nn.LSTM(embedding_dim, hidden_dim)
self.hidden2tag = nn.Linear(hidden_dim, tagset_size)

def forward(self, sentence):
embeds = self.word_embeddings(sentence)
lstm_out, _ = self.lstm(embeds.view(len(sentence), 1, -1))
tag_space = self.hidden2tag(lstm_out.view(len(sentence), -1))
tag_scores = F.log_softmax(tag_space, dim=1)
return tag_scores

到目前为止,输入和输出的大小不匹配,我得到:ValueError:预期输入batch_size (2) 与目标batch_size (1) 匹配。

由于尺寸不匹配,标准函数不接受输入:

loss        = criterion(tag_scores, targets)

我读过最后一层可以定义为 nn.Linear 以压缩输出,但我似乎无法得到任何结果。尝试了其他损失函数

如何更改它以便模型对句子进行分类,而不是像原始教程中那样对每个单词进行分类?

最佳答案

我通过简单地获取最后一个的隐藏状态解决了这个问题

tag_space   = self.hidden2tag(lstm_out[-1])

关于python - 使用 pytorch 进行多类句子分类(使用 nn.LSTM),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59177430/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com