python - tensorflow 中的条件图和访问张量大小的循环

Question

首先是广泛的问题:

• 是否可以使用 tensorflow 构建条件图？
• 如果是，自动梯度计算和实现的优化器是否与它一起工作？
• 我能否访问张量的形状并将其转换为整数，以便在“if”条件和“for i in range()”循环中使用它？

我的实际用例是我想做一个具有可变张量长度的一维卷积。为此，我首先需要一个 if 语句，该语句仅在长度大于 1 时才执行卷积。然后我有一个 for 循环，它通过卷积的张量。问题是这段代码:

for i in range(tf.shape(tensor)[0]): 

不起作用，因为范围运算符需要一个整数。我能以某种方式将其转换为整数吗？

最后我想用 adagrad 训练这个模型，要么使用自动微分，要么使用已经实现的优化器

---

编辑:

这是一维卷积，稍后将成为我模型中两层中的第一层。类型错误在触发一个 for 循环的每个版本之后

import tensorflow as tf 
import numpy as np 

def convolve(s, Tl, Tr, b):

    if (tf.shape(s)[0] == 1):
        return s

    sum = 0

    # for i in range(tf.shape(s)[0] - 1): # error: TypeError: range() integer end argument expected, got Tensor
    # for i in range(s._shape._dims[0]._value - 1): # error: TypeError: unsupported operand type(s) for -: 'NoneType' and 'int'
    for i in range(s.get_shape().as_list()[0] - 1): # error: TypeError: unsupported operand type(s) for -: 'NoneType' and 'int'

        sum += tf.tanh(tf.matmul(Tl,s[i]) + tf.matmul(Tr, s[i+1]) + b)

    return sum

ModelSize = 3

# tensor to be convolved
s = tf.placeholder("float", shape = [None, ModelSize])

# initialise weights
Tl = tf.Variable(tf.random_normal(shape=[ModelSize,ModelSize], stddev = 0.1 ))
Tr = tf.Variable(tf.random_normal(shape=[ModelSize,ModelSize], stddev = 0.1 ))
b = tf.Variable(tf.random_normal(shape=[ModelSize], stddev = 0.1 ))

#convolution
s_convolved = convolve(s, Tl, Tr, b)

# initialise variables.
init = tf.initialize_all_variables()

# run graph
sess = tf.Session()
sess.run(init)

# test data
s_dataLong = np.random.random((2,5,ModelSize))
s_dataShort = np.random.random((2,1,ModelSize))

for s_dataPart in s_dataLong:
    print sess.run(s_convolved, feed_dict = {s : s_dataPart})

for s_dataPart in s_dataShort:
    print sess.run(s_convolved, feed_dict = {s : s_dataPart})

Answer 1

我建议您以不同的方式编写每个问题。否则它将因过于宽泛而被关闭。

我只能回答你的第三个问题。如何以编程方式获取张量的形状。您正在正确使用 shape to get the shape of the tensor , 但在运行图表之前你仍然无法获得结果(看看我的 explanation here )。

a = tf.truncated_normal([2, 3], mean=0.0, stddev=0.02, dtype=tf.float32, seed=1)
b = tf.shape(a)
sess = tf.Session()
print sess.run(b) # will give you [2 3]

我发现在不运行图形的情况下从常量获取形状的丑陋方法是做类似的事情(真的不知道为什么需要它):

print a._shape._dims[0]._value
print a._shape._dims[1]._value

要从变量中获取形状，您可以这样做:

weights = tf.Variable(tf.random_normal([784, 200], stddev=0.35))
print weights.get_shape().as_list()

另一种在评估前访问张量形状的方法是:tf.Tensor.get_shape()