machine-learning - 稀疏采样 Softmax Tensorflow

Question

如何将tf.nn.sparse_softmax_cross_entropy_with_logits转换为使用采样softmax而不是常规softmax？

我有一个具有大量目标词汇(500K 个单词)的序列到序列模型，它会触发 OOM 错误。

softmax 函数的输入如下所示:[batch, max_time_steps, 512]

Answer 1

我遇到了同样的问题，使用以下方法解决了它:

        labels = tf.reshape(labels, [-1, 1])
        loss = tf.nn.sampled_softmax_loss(
            weights=self.W_softmax,
            biases=self.b_softmax,
            labels=labels,
            inputs=logits,
            num_sampled=20,
            num_true=1,
            num_classes=20000,
            partition_strategy="div")

对我来说，关键是将 num_sampled=20 设置得相当低，512 太多，无法容纳我的 GPU 内存 (8GB)。