weird behivior undefined with PreTrainedTokenizer __init__(未使用PreTrainedTokenizer__init__定义奇怪行为)

转载 作者：bug小助手 更新时间：2023-10-28 11:32:23 33 4

class TokompilerHF(PreTrainedTokenizer):
    '''
        Hugging Face compatible version of Tokompiler
    '''
    def __init__(self, vocab_file, **kwargs):
        super().__init__(**kwargs)
        self.tokompiler = Tokompiler(vocab_file)
        pad_token_id=self.tokompiler.encoder['[UNK]']
        #black magic for some reason removing the print changes
        print(type(pad_token_id))
        print(pad_token_id)
        self.pad_token_id=None
        self.pad_token_id=pad_token_id 
        print(type(self.pad_token_id))
        print(self.pad_token_id) 

class TokompilerHF(PreTrainedTokenizer):
    '''
        Hugging Face compatible version of Tokompiler
    '''
    def __init__(self, vocab_file, **kwargs):
        super().__init__(**kwargs)
        self.tokompiler = Tokompiler(vocab_file)
        pad_token_id=self.tokompiler.encoder['[UNK]']
        #black magic for some reason removing the print changes
        print(type(pad_token_id))
        print(pad_token_id)
        self.pad_token_id=None
        self.pad_token_id=pad_token_id 
        print(type(self.pad_token_id))
        print(self.pad_token_id)

    def _tokenize(self, text, **kwargs):
        return self.tokompiler.tokenize(text)

    def _convert_token_to_id(self, token):
        return self.tokompiler.encode(token)

    def _convert_id_to_token(self, index):
        return self.tokompiler.decode([index])

    def convert_tokens_to_string(self, tokens):
        return ' '.join(tokens)

    def _convert_tokens_to_ids(self, tokens):
        return [self._convert_token_to_id(token) for token in tokens]

    def _convert_ids_to_tokens(self, ids):
        return [self._convert_id_to_token(id) for id in ids]

    def get_vocab(self):
        return self.tokompiler.encoder.copy()

    @property
    def vocab_size(self):
        return len(self.tokompiler.encoder)
tokenizer=TokompilerHF('tokenizer_vocab/vocab.txt') 

33 4 0

• linux - compiler.h 文件中有 __cond_lock(x,c) 定义，但没有 __cond_unlock(x,c) 定义？

  在complier.h中有一个宏定义如下: # define __cond_lock(x,c) ((c) ? ({ __acquire(x); 1; }) : 0) 但是这里我有一个问题，就是哪里

• CURLOPT_ 定义

  curl_easy_setopt 的选项在哪里？定义？我试图寻找 CURLOPT_VERBOSE 和其他一些整数值，但这些似乎没有在 curl.h 中明确定义。 最佳答案 第 792 行: #ifde

• dllimport静态数据成员的C++定义

  我确实有一个如下所示的类(class): //.h file class __declspec(dllimport) MyClass { public: //stuff pri

• 关系代数与逻辑优化规则(一):定义

  作者: zhuwenzhuang, 2024.05.08. 阅读前假设读者熟悉数据库使用,了解 SQL 的语法和关系算子的大概含义, 能通过 EXPLAIN 命令查看数据库执行计划. 0 前言

• Swagger header 定义

  我似乎无法找到是否可以声明一个 header 对象以便在响应 header 中重用它，有一些示例定义了响应模式的对象，但它不会转置为响应 header 。我只设法制作了一个可重用的响应对象，如下所示:

• CSS 选择器 * + * 定义？

  css 选择器 * + * 实际上是什么意思？当您执行检查元素时，您可以在谷歌浏览器的控制台中看到它。在我看来，这似乎是对 "Every second child"应用一种风格，但仍然想确定。谁能帮我

• Haskell primPutChar 定义

  我试图弄清楚基本的IO Haskell 函数是定义好的，所以我使用了this reference我到了putChar函数定义: putChar :: Char -> IO () putChar

• .net - TargetFrameworkAttribute 定义

  我得到了一个自动生成的文件，该文件定义了程序集属性，我正在尝试理解内容。 [assembly: global::System.Runtime.Versioning.TargetFrameworkAtt

• gnuplot，检查函数是否存在(定义)

  This文档演示了如何检查变量是否先前已在 gnuplot 脚本中定义。 文档中的示例: a = 10 if (exists("a")) print "a is defined" if (!exist

• scheme - 定义、让和设置之间的区别!

  好吧，这是一个相当基本的问题:我正在关注 SICP 视频，我对 define、let 和 之间的区别有点困惑设置!. 1) 根据 Sussman 在视频中的说法，define 只允许为变量附加一个值一

• 枚举值的 XSD 定义

  我一直在尝试定义一个包含只能具有以下三个值之一的字段的 XSD: 绿色 红色 蓝色 本质上，我想在架构级别定义严格的枚举。 我的第一次尝试似乎是错误的，我不确定修复它的“正确”方法。

• class - “POCO”定义

  有人可以定义“POCO”到底是什么意思吗？我越来越频繁地遇到这个术语，我想知道它是否仅与普通类有关还是意味着更多？ 最佳答案 “普通旧式 C# 对象” 只是一个普通的类，没有描述基础结构问题或域对象不

• django CharField 定义

  在我经常看到的一些django模型中 myfield = models.CharField(_('myfield')) class_name = models.CharField(_('Type'),

• c - boolean 定义

  每当 BOOL 数据类型不容易预定义时，我都会使用以下定义进行 boolean 运算， typedef unsigned char BOOL; (由于内存使用)。 我意识到出于性能原因，使用本地总线宽

• Java: vector 定义

  l_ABC_BEANVector = utilRemote.fnGetVector("ABC_COVBEANVector"); 编码的含义是什么？任何帮助，我真的很感激。谢谢 最佳答案 唯一可以肯定地

• JAVACC token 定义

  我正在使用 javacc 开发一个项目，我遇到问题并需要一些帮助，我的文件中有这样的内容: STRING COPYRIGHT (C) 2003, 2004 SYNOPSYS, INC.; 我为单词 S

• Haskell primPutChar 定义

  我想弄清楚基本的 IO定义了 Haskell 函数，所以我使用了 this reference然后我到了 putChar函数定义: putChar :: Char -> IO () putCha

• python - 定义@property

  我在具体类中使用 @property 定义 getter 时遇到问题。这是Python代码: from abc import ABCMeta, abstractproperty class abstr

• C 定义/全局变量依赖于其他东西

  我正在为大学用 C 语言编写一个小游戏，但我陷入了困境。我(在头文件中)有这个结构: typedef struct{ game_element field[MAX_ROWS][MAX_COLU

• c - 如何从flex文件中读取规则(定义)？

  我一直在 .l 文件中创建标记定义。由于数据集数量庞大，它变得有点乏味。有没有办法读取文件中的所有单词，例如包含所有名词的 noun.txt 并给所有名词一个标记。 基本上，我想自动化这部分: %%