javascript - tensorflowjs - JavaScript 中是否有等效的 tokenizer 方法？

Question

我正在用 python 构建一个 NLP 分类器，并希望构建一个用于演示的托管 HTML 页面。我想对示例文本进行测试以查看预测，这是通过对文本进行标记，然后在预测之前对其进行填充来在 python 中实现的。像这样:

tf.tokenizer.texts_to_sequences(text)
token_list = tf.tokenizer.texts_to_sequences([text])[0]
token_list_padded = pad_sequences([token_list], maxlen=max_length, padding=padding_type)

问题是我是 javascript 新手，那么 javascript 中是否有像 python 中那样的标记化和填充方法？

Answer 1

js 中还没有像 python 中那样的 tf.tokenizer 。

已经描述了一个简单的 js.tokenizer here 。更强大的方法是使用 universal sentence encoder 附带的分词器。