tensorflow - 我们需要在训练过程中使用波束搜索吗？

Question

如果我们在 seq2seq 模型中使用波束搜索，它将给出更合适的结果。有几种 tensorflow 实现。
但是对于每个单元格中的 softmax 函数，您不能在训练过程中使用波束搜索。那么在使用beam search的时候有没有其他修改过的优化函数呢？

Answer 1

正如奥利弗提到的，为了在训练过程中使用波束搜索，我们必须使用 波束搜索优化论文Sequence-to-Sequence Learning as Beam-Search Optimization中明确提到了这一点.

我们不能在当前损失函数的训练过程中使用波束搜索。因为当前的损失函数是在每个时间步上进行的对数损失。这是一种贪婪的方式。这篇论文Sequence to Sequence Learningwith Neural Networks中也明确提到.
在第 3.2 节中，它巧妙地提到了上述情况。



“在哪里
秒
是训练集。训练完成后，我们生成 tr
通过找到最多的 anslations
根据 LSTM 的可能翻译:"

所以原始的 seq2seq 架构只在测试时使用波束搜索。如果我们想在训练时使用这种波束搜索，我们必须使用论文中的另一种损失和优化方法。