maxlength - AllenNLP 问答的段落长度限制

Question

我对 AllenNLP 还很陌生，我目前正在使用它的预训练问答模型。我想知道它是否有 channel 长度限制以确保其性能？我知道 BERT 的最大长度为 512，并且会截断更长的段落。
我在 AllenNLP 上尝试了更长的段落，它似乎有效，但我只是想确认一下。谢谢你。

Answer 1

是的，这个模型确实限制了文章(上下文)的长度，也可能限制了问题的长度。你可以在 API 文档中阅读更多关于它是如何做到的:https://docs.allennlp.org/models/master/models/rc/dataset_readers/transformer_squad/ .
但总而言之，通过在 stride 的窗口上滑动，文章将被解析为多个输入实例。当段落+问题包含超过 length_limit 时的标记 token 。