python - Tensorflow:分层 Softmax 实现

Question

我目前有用向量表示的文本输入，我想对它们的类​​别进行分类。因为它们是多级类别，所以我打算使用 Hierarchical Softmax。

Example:

 - Computer Science
     - Machine Learning
     - NLP
 - Economics
 - Maths
     - Algebra
     - Geometry

我不知道如何在 Tensorflow 中实现它。我遇到的所有示例都是使用其他框架。

谢谢

Answer 1

实际上，如果您的类别总数在数百到数千(小于 50K)之间，则无需考虑使用 hierarchical softmax，它旨在更快地运行训练以分类到数百万个类别(对于例如，词汇表中的单词数)。

根据我的经验(使用朴素贝叶斯和神经网络)，在训练时使用层次结构不一定会提高分类质量。

但是，如果您有兴趣实现 Hierarchical Softmax，那就是另一回事了。