tensorflow - 使用 TensorFlow 构建对话模型

Question

我想构建一个 session 模式，可以使用 TensorFlow LSTM 使用前面的句子来预测句子。 TensorFlow 教程中提供的示例可用于预测句子中的下一个单词。

https://www.tensorflow.org/versions/v0.6.0/tutorials/recurrent/index.html

lstm = rnn_cell.BasicLSTMCell(lstm_size)
# Initial state of the LSTM memory.
state = tf.zeros([batch_size, lstm.state_size])

loss = 0.0
for current_batch_of_words in words_in_dataset:
    # The value of state is updated after processing each batch of words.
    output, state = lstm(current_batch_of_words, state)

    # The LSTM output can be used to make next word predictions
    logits = tf.matmul(output, softmax_w) + softmax_b
    probabilities = tf.nn.softmax(logits)
    loss += loss_function(probabilities, target_words)

我可以使用相同的技术来预测下一个句子吗？有没有关于如何做到这一点的工作示例？

Answer 1

您想要使用Sequence-to-sequence模型。它不是学习将句子从源语言翻译成目标语言，而是学习对对话中先前话语的响应。

您可以通过使用源语言“英语”是您之前的句子集和目标语言“法语”是您的响应句子的类比来调整tensorflow中的示例seq2seq模型。

理论上，您可以通过将训练示例与特殊符号连接起来来使用您正在查看的基本 LSTM:

你好! __RESPONSE 你好，我能帮忙吗？

然后在测试过程中，您可以使用直到并包括 __RESPONSE 符号的序列向前运行它，并且 LSTM 可以在剩下的过程中继续运行它。

但是，上面的 seq2seq 模型应该更加准确和强大，因为它有一个单独的编码器/解码器，并包含注意力机制。