gpt4 book ai didi

python - 无法从 Keras 导入 Tokenizer

转载 作者:行者123 更新时间:2023-11-30 09:48:52 32 4
gpt4 key购买 nike

目前正在研究深度学习示例,他们正在使用 Tokenizer 包。我收到以下错误:

AttributeError:“Tokenizer”对象没有属性“word_index”

这是我的代码:

from keras.preprocessing.text import Tokenizer

samples = ['The cat say on the mat.', 'The dog ate my homework.']

tokenizer = Tokenizer(num_words=1000)
tokenizer.fit_on_sequences(samples)

sequences = tokenizer.texts_to_sequences(samples)

one_hot_results = tokenizer.texts_to_matrix(samples, mode='binary')

word_index = tokenizer.word_index
print('Found %s unique tokens.' % len(word_index))

有人可以帮我纠正我的错误吗?

最佳答案

看起来导入正确,但 Tokenizer 对象没有属性 word_index

根据documentation仅当您在 Tokenizer 对象上调用 fits_on_text 方法时,才会设置该属性。

以下代码成功运行:

 from keras.preprocessing.text import Tokenizer

samples = ['The cat say on the mat.', 'The dog ate my homework.']

tokenizer = Tokenizer(num_words=1000)
tokenizer.fit_on_texts(samples)

one_hot_results = tokenizer.texts_to_matrix(samples, mode='binary')

word_index = tokenizer.word_index
print('Found %s unique tokens.' % len(word_index))

关于python - 无法从 Keras 导入 Tokenizer,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48587696/

32 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com