gpt4 book ai didi

huggingface-transformers - 为什么 huggingface t5 tokenizer 会忽略一些空格?

转载 作者:行者123 更新时间:2023-12-05 05:41:52 39 4
gpt4 key购买 nike

我正在使用 T5 模型和分词器执行下游任务。我想将某些 whitesapces 添加到分词器,例如行结尾 (\t) 和制表符 (\t)。添加这些标记是有效的,但不知何故标记器总是忽略第二个空格。因此,它将序列 “\n\n” 标记为单行结尾,序列 "\n\n\n\n" 标记为两行结尾等等。请参阅下文进行重现。

from transformers import T5Tokenizer
tokenizer = T5Tokenizer.from_pretrained("t5-large")
tokenizer.add_tokens(["\n"])

tokenizer.encode("\n") # returns [32100, 1] as expected
tokenizer.encode("\n\n") # returns [32100, 1] but expected would be [32100, 32100, 1]
tokenizer.encode("\n\n\n\n") # returns [32100, 32100, 1] but expected would be [32100, 32100, 32100, 32100, 1]

这种行为背后的原因是什么?它是错误还是与分词器的工作方式有关?我注意到这只发生在添加的空格上,但不会发生在其他字符上。

有没有办法防止分词器忽略重复的空格?

最佳答案

默认情况下,T5Tokenizer 中的tokenize 方法解释了该行为如何剥离标记。可以做的是将标记“\n”作为特殊标记添加到分词器中。因为特殊标记永远不会分开,所以它按预期工作。

这有点 hacky 但似乎有效。

from tokenizers import AddedToken
tokenizer.add_special_tokens({"additional_special_tokens": [AddedToken("\n")]})
print(tokenizer.special_tokens_map)

然后它标记化 '\n' 而不跳过任何出现。请注意,AddedToken 很重要,因为以下内容以某种方式NOT 起作用。

tokenizer.add_special_tokens({"additional_special_tokens": ["\n"]})

编辑

在花了更多时间之后,我实际上找到了一种方法来将它添加为普通 token 而不使用特殊 token 。这个问题的主要原因是在标记化之前在幕后发生的规范化过程。添加新 token 时,您可以指定是否应对其进行规范化。通过将 normalize 设置为 False,您可以避免分词器剥离连续出现的添加分词。

from tokenizers import AddedToken
tokenizer.add_tokens(AddedToken("\n", normalized=False))

您可以在此链接上找到更多信息:https://huggingface.co/course/en/chapter6/4?fw=pt

关于huggingface-transformers - 为什么 huggingface t5 tokenizer 会忽略一些空格?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/72214408/

39 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com