python - 在 keras Tokenizer 中使用 tf–idf

Question

我有一个数据框，其中第一行的标题列包含以下文本:

Use of hydrocolloids as cryoprotectant for frozen foods

使用这段代码:

vocabulary_size = 1000
tokenizer = Tokenizer(num_words=vocabulary_size)
tokenizer.fit_on_texts(df['Title'])
sequences = tokenizer.texts_to_sequences(df['Title'])
print(sequences[0])

我得到这个序列:

[57, 1, 21, 7]

使用这个:

index_word = {v: k for k, v in tokenizer.word_index.items()}
print(index_word[57])
print(index_word[1])
print(index_word[21])
print(index_word[7])

我得到:

use
of
as
for

这是有道理的，因为这些是更频繁的词。是否也可以使用 Tokenizer 将标记化基于 tf–idf ？

增加 vocabulary_size 也会标记出频率较低的单词，例如:

hydrocolloids

我打算在下游使用手套进行分类任务。保留频繁且因此可能不那么具有歧视性的词是否有意义:

use

在？也许是的，因为 glove 也会查看上下文，这与我过去使用的词袋方法形成对比。这里 tf–idf 是有道理的。

Answer 1

直到现在(因为 Keras 总是在更新它的功能)，没有什么可以产生你想要的..

但它有一个函数，使用 Tf-Idf 方案而不是 freq 来表示序列。

sequences = tokenizer.texts_to_matrix(df['Title'], mode='tfidf')

代替:

sequences = tokenizer.texts_to_sequences(df['Title'])

此外，作为建议，您可以使用 sklearn TfidfVectorizer 从低频词中过滤文本，然后将其传递给您的 Keras 模型..