deep-learning - 矩阵如何在 Hierarchical Softmax 模型中相乘？

Question

据我了解，简单的 word2vec 方法使用如下两个矩阵:假设语料库由 N 个词组成。维度为 NxF 的加权输入矩阵 (WI)(F 是特征数)。维度为 FxN 的加权输出矩阵 (WO)。我们将一个热向量 1xN 与 WI 相乘，得到一个神经元 1xF。然后我们将神经元与 WO 相乘，得到一个输出向量 1xN。我们应用 softmax 函数并选择向量中的最高条目(概率)。问题:使用 Hierarchical Softmax 模型时如何说明这一点？什么将与哪个矩阵相乘以获得将导致向左或向右分支的二维向量？ 附言我确实理解使用二叉树等的分层 Softmax 模型的想法，但我不知道乘法是如何在数学上完成的。

谢谢

Answer 1

为了简单起见，假设 N 是 2 的幂。那么二叉树将有 N-1 个内部节点。这些节点 Hook 到尺寸为 Fx(N-1) 的 WO。

为每个内部节点计算出一个值后，计算左右分支值。使用类似 sigmoid 函数的东西分配给(比如)左分支。右分支只是 1 减去左分支。

要进行预测，请找到从根到叶的最大概率路径。

为了训练，识别正确的叶子并识别内部节点到根的路径。从那些 log(N) 个节点开始反向传播。