python - python中的序列到序列建模

Question

我正在尝试制作一个聊天机器人，它使用序列到序列模型来响应用户的输入。问题是提供给模型的输入序列几乎永远不会相同。输入序列是一个单词列表。我创建了一个词汇表，将这个序列中的每个单词映射到它自己的唯一 ID，但是，输入仍然是可变的并且不是固定的，所以我不能只使用序列到序列模型。我知道可以使用编码器将单词序列映射到固定向量表示，然后让解码器将该向量映射回序列。

我的问题是如何将单词序列编码为固定向量？是否有任何类型的技术可用于此目的？

Answer 1

将单词序列映射到向量表示可以使用递归神经网络来完成。可以看看这个介绍:http://colah.github.io/posts/2015-08-Understanding-LSTMs/

tensorflow 工具包中有一个教程通过示例代码解决了这个序列到序列映射架构的问题:https://www.tensorflow.org/versions/r0.11/tutorials/index.html

然而，在使用 RNN 之前，我建议先了解一下神经网络的基础知识:http://deeplearning.net/software/theano/tutorial/#basics

Bengio 的深度学习书籍:http://www.deeplearningbook.org/涵盖了很多关于 RNN 的 Material ，但是它涉及相当多的数学。