gpt4 book ai didi

python - 如何将 3d 张量传递给 tensorflow RNN embedding_rnn_seq2seq

转载 作者:太空宇宙 更新时间:2023-11-04 05:16:22 27 4
gpt4 key购买 nike

我正在尝试输入每个世界都有 word2vec 表示的句子。我如何在 tensorflow seq2seq 模型中做到这一点?

假设变量

enc_inp = [tf.placeholder(tf.int32, shape=(None,10), name="inp%i" % t)
for t in range(seq_length)]

维度为 [num_of_observations 或 batch_size x word_vec_representation x sentense_lenght]。

当我将它传递给 embedding_rnn_seq2seq 时

decode_outputs, decode_state = seq2seq.embedding_rnn_seq2seq(
enc_inp, dec_inp, stacked_lstm,
seq_length, seq_length, embedding_dim)

发生错误

ValueError: Linear is expecting 2D arguments: [[None, 10, 50], [None, 50]]

还有一个更复杂的问题我如何将向量而不是标量作为输入传递到我的 RNN 的第一个单元格?

现在看起来(当我们处理任何序列时)

  1. 获取序列的第一个值(标量)
  2. 计算第一层RNN第一层嵌入单元输出
  3. 计算第一层RNN第二层嵌入单元输出
  4. 等等

但这是必需的:

  1. 获取序列的第一个值(向量)
  2. 计算第一层 RNN 第一层单元输出(当输入为向量时,作为普通计算简单感知器)
  3. 计算第一层RNN第二层嵌入单元输出(当输入为向量时,作为普通计算简单感知器)

最佳答案

重点是:seq2seq 在自己内部进行词嵌入。 Here is reddit question and answer

此外,如果 smbd 想使用预训练的 Word2Vec,有一些方法可以做到,见:

所以这不仅可以用于词嵌入

关于python - 如何将 3d 张量传递给 tensorflow RNN embedding_rnn_seq2seq,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41615654/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com