deep-learning - 如何反转 PyTorch 嵌入？

Question

我在 PyTorch 中有一个多任务编码器/解码器模型，带有(可训练的)torch.nn.Embedding输入的嵌入层。
在一项特定任务中，我想对模型进行自我监督预训练(以重新构建屏蔽输入数据)并将其用于推理(以填补数据空白)。
我想对于训练时间，我可以将损失作为输入嵌入和输出嵌入之间的距离来衡量......但是对于推理，我如何反转 Embedding重建输出对应的正确类别/标记？我看不到例如Embedding 类上的“最近”函数...

Answer 1

你可以很容易地做到:

import torch

embeddings = torch.nn.Embedding(1000, 100)
my_sample = torch.randn(1, 100)
distance = torch.norm(embeddings.weight.data - my_sample, dim=1)
nearest = torch.argmin(distance)

假设你有 1000带有 100 的 token 这将返回基于欧几里德距离的最近嵌入。您还可以以类似的方式使用其他指标。