machine-learning - 如何在tensorflow中构建基于字符的seq2seq模型

Question

需要对 Tensorflow 中现有的 seq2seq 模型进行哪些更改，以便我可以使用字符单位而不是现有的单词单位来执行 seq2seq 任务？对于预测性 ext 应用程序来说，这会是一个很好的配置吗？

此任务可能需要修改以下函数签名:

def embedding_rnn_seq2seq(encoder_inputs, decoder_inputs, cell,
                          num_encoder_symbols, num_decoder_symbols,
                          output_projection=None, feed_previous=False,
                          dtype=dtypes.float32, scope=None):

除了减少输入输出词汇量之外，实现这样的字符级 seq2seq 模型还需要哪些其他参数更改？

Answer 1

如果您通过空格分隔训练示例来准备输入数据文件，如下所示，我认为您可以在tensorflow中使用现有的seq2seq模型，而无需对基于字符的单元进行任何代码更改:

The quick brown fox.

变成:

T h e _SPACE_ q u i c k _SPACE_ b r o w n _SPACE_ f o x .

然后你的词汇自然就变成了字符而不是单词。

您可以试验词汇大小、嵌入大小、消除嵌入层等，看看什么最适合您的数据。