- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
我正在尝试通过 TensorFlow tf.nn.embedding_lookup()
函数“从头开始”学习 imdb 数据集的单词表示。如果我理解正确的话,我必须在另一个隐藏层之前设置一个嵌入层,然后当我执行梯度下降时,该层将在该层的权重中“学习”一个词表示。但是,当我尝试这样做时,我的嵌入层和网络的第一个全连接层之间出现形状错误。
def multilayer_perceptron(_X, _weights, _biases):
with tf.device('/cpu:0'), tf.name_scope("embedding"):
W = tf.Variable(tf.random_uniform([vocab_size, embedding_size], -1.0, 1.0),name="W")
embedding_layer = tf.nn.embedding_lookup(W, _X)
layer_1 = tf.nn.sigmoid(tf.add(tf.matmul(embedding_layer, _weights['h1']), _biases['b1']))
layer_2 = tf.nn.sigmoid(tf.add(tf.matmul(layer_1, _weights['h2']), _biases['b2']))
return tf.matmul(layer_2, weights['out']) + biases['out']
x = tf.placeholder(tf.int32, [None, n_input])
y = tf.placeholder(tf.float32, [None, n_classes])
pred = multilayer_perceptron(x, weights, biases)
cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(pred,y))
train_step = tf.train.GradientDescentOptimizer(0.3).minimize(cost)
init = tf.initialize_all_variables()
我得到的错误是:
ValueError: Shapes TensorShape([Dimension(None), Dimension(300), Dimension(128)])
and TensorShape([Dimension(None), Dimension(None)]) must have the same rank
最佳答案
出现形状错误是因为您使用二维张量 x
索引到二维嵌入张量 W
。想到tf.nn.embedding_lookup()
(及其近亲 tf.gather()
)将 x
中的每个整数值 i
替换为行 W[i, :]
.从错误消息中,可以推断出 n_input = 300
和 embedding_size = 128
。一般来说,tf.nn.embedding_lookup()
的结果维数等于 rank(x) + rank(W) - 1
……在本例中为 3。当您尝试将此结果乘以 _weights['h1']
时会出现错误,这是一个(二维)矩阵。
要修复此代码,这取决于您尝试做什么,以及您将输入矩阵传递给嵌入的原因。一个常见的做法是使用类似 tf.reduce_sum()
的操作将每个输入示例的嵌入向量聚合到每个示例的一行中。 .例如,您可以执行以下操作:
W = tf.Variable(
tf.random_uniform([vocab_size, embedding_size], -1.0, 1.0) ,name="W")
embedding_layer = tf.nn.embedding_lookup(W, _X)
# Reduce along dimension 1 (`n_input`) to get a single vector (row)
# per input example.
embedding_aggregated = tf.reduce_sum(embedding_layer, [1])
layer_1 = tf.nn.sigmoid(tf.add(tf.matmul(
embedding_aggregated, _weights['h1']), _biases['b1']))
关于python - Tensorflow embedding_lookup,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35295191/
我有一些相当于稀疏softmax的东西: ... with tf.device('/gpu:0'): indices = tf.placeholder(tf.int32, [None, dim
我正在尝试通过 TensorFlow tf.nn.embedding_lookup() 函数“从头开始”学习 imdb 数据集的单词表示。如果我理解正确的话,我必须在另一个隐藏层之前设置一个嵌入层,然
我遇到的一些教程,使用随机初始化的嵌入矩阵进行描述,然后使用 tf.nn.embedding_lookup 函数获取整数序列的嵌入。我的印象是,由于 embedding_matrix 是通过 tf.g
我想我在这里遗漏了一些明显的东西,但希望得到一些帮助来解决这个问题。 假设我有一百万个单词,并希望将它们作为模型的一部分嵌入。 使用 TF,我可以进行嵌入查找,但我需要提供大小为 [1m*space_
tf.nn.embedding_lookup(params, ids, partition_strategy='mod', name=None) 我无法理解这个函数的职责。它像查找表吗?即返回每个id
我想知道为什么 tf.nn.embedding_lookup 使用张量列表,而 tf.gather 只对单个张量执行查找。为什么我需要对多个嵌入进行查找? 我想我在某处读到它对于在大型嵌入上节省内存很
我想实现一个带有浮点输入而不是 int32 或 64b 的嵌入表。原因是我不想使用简单 RNN 中的单词,而是使用百分比。例如,如果是食谱;我可能有1000或3000种原料;但在每个食谱中我可能最多有
我想使用scatter_nd_update来更改从tf.nn.embedding_lookup()返回的张量的内容。但是,返回的张量不可变,并且 scatter_nd_update() 需要可变张量作
我正在使用预置向量来创建这样的嵌入 import numpy import gensim import tensorflow ft_model=gensim.models.KeyedVectors.l
在查看tensorflow的官方示例代码ptb_word_ln.py时,我有一个关于embedding_lookup的问题。 the embedding_lookup node 我发现它仅用作输入。输
我正在解决一个文本分类问题。我使用 Estimator 定义了我的分类器我自己的类(class)model_fn .我想用谷歌预训练的word2vec嵌入为初始值,然后针对手头的任务进一步优化它。 我
要提取输入数据的嵌入表示,tensorflow 文档说我们可以使用以下内容: embed = tf.nn.embedding_lookup(embeddings, input_data) 加入 TF
在馈入嵌入层时,我看到了两种类型的填充。 eg: considering two sentences: word1 = "I am a dog person." word2 = "Krishni an
我是一名优秀的程序员,十分优秀!