gpt4 book ai didi

python - 模块 'tensorflow_datasets.core.features' 没有属性 'text'

转载 作者:行者123 更新时间:2023-12-04 16:38:36 27 4
gpt4 key购买 nike

大家好,我正在使用 Tensorflow 开发情绪分析,使用基于亚马逊电子产品的一些评论。在代码中,我遇到了一个错误。我使用 tensorflow 数据集来检索一些文本,但无法检索。这是部分代码,包含以下错误:

tokenizer = tfds.features.text.Tokenizer()

vocabulary_set = set()
for _, reviews in train_dataset.enumerate():
review_text = reviews['data']
reviews_tokens = tokenizer.tokenize(review_text.get('review_body').numpy())
vocabulary_set.update(reviews_tokens)
vocab_size = len(vocabulary_set)
vocab_size

我从这里得到的错误是属性错误

AttributeError                            Traceback (most recent call last)
<ipython-input-17-1c32dce13853> in <module>()
----> 1 tokenizer = tfds.features.text.Tokenizer()
AttributeError: module 'tensorflow_datasets.core.features' has no attribute 'text'

请问我该如何解决这个错误?谢谢

最佳答案

它是 deprecated但你仍然可以像这样访问它:

import tensorflow_datasets as tfds

tokenizer = tfds.deprecated.text.Tokenizer()

tokenizer.tokenize('hey how are you?')
['hey', 'how', 'are', 'you']

关于python - 模块 'tensorflow_datasets.core.features' 没有属性 'text',我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/65397061/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com