python - 一次使用拥抱脸面膜填充超过 1 个蒙面 token 的最佳方式

Question

我能够使用拥抱脸的面具填充管道使用以下内容预测句子中的 1 个面具标记:

!pip install -q transformers
from __future__ import print_function
import ipywidgets as widgets
from transformers import pipeline

nlp_fill = pipeline('fill-mask')
nlp_fill("I am going to guess <mask> in this sentence")

但是，如果我想预测 2 个蒙面标记，是否有人对执行此操作的最佳方法有意见？例如如果句子改为 "I am going to <mask> <mask> in this sentence" ?

如果我尝试将这个确切的句子放入 nlp_fill，我会收到错误 "ValueError: only one element tensors can be converted to Python scalars"所以它不会自动工作。

任何帮助将非常感激!

Answer 1

可悲的是，期望面具后面只有一个词是hardcoded into the FillMaskPipeline class .

对于一个更受限制的问题，在给定固定数量的选择来填充掩码的情况下，掩码填充的问题，可以扩展 FitBERT要做到这一点 - 我有一个笔记本，如果你给我发消息，我可以寄给你，但它的代码非常糟糕。我是 FitBERT 的作者之一，但我还没有机会添加这个。

编辑

Here is the notebook ，不要评判我