python - Tensorflow:赋值操作的优先级

Question

我尝试更深入地了解 Tensorflow 计算图的运行方式。假设我们有以下代码:

A = tf.truncated_normal(shape=(1, ), stddev=0.1)
B = tf.Variable([0.3], dtype=tf.float32)
C = A * B
grads = tf.gradients(C, [A, B])
init = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init)

for i in range(1000):
    results = sess.run([C, grads], {A: [2], B:[5]})

正如预期的那样，我得到的结果是 10，A 的梯度为 5，B 的梯度为 2。我想确定的是，当我们像对 A 和 B 那样向张量提供值时，计算图中定义的默认值生成机制会被覆盖，对吗？

例如，每当我们在 for 循环中运行 sess.run 行时，A 不会生成正态随机值，它会被 2 覆盖，B 的 0.3 会被 5 替换。在这种情况下，计算图的表现如何？

对于一般情况，我的以下理解是否正确:每次我们调用sess.run时，计算获取列表中的值所需的节点都通过拓扑排序确定，并且所有张量都被覆盖feed_dict 参数中提供的值，打破了它们对计算图其余部分的依赖。 (例如，如果张量 A 等待 B 的值被求值，并且如果我们在 feed_dict 中向 A 注入(inject)一个值，A 对 B 的依赖就会被打破，我相信这也会以某种方式反射(reflect)在计算图中)。然后根据计算图的最终形式，进行前向和后向计算。

Answer 1

我相信只需要两个小修正:

1. 无需执行两遍 - 首先确定要执行的最小图，然后“打破它”，它可以在单遍中完成 - 寻找执行 sess.run ops 所需的最小图 给出了 feed 字典中的内容。换句话说，每次你发现新节点(当向后遍历操作的依赖项时)，你都会检查 feed_dict 中是否提供了它，如果是真的 - 你假设这是一个给定的叶节点。

2. TF中不存在“向后计算”这种东西，一切都是向前计算。 tf.gradients(或最小化)调用只是构造前向图，其功能相当于在向后传递期间在许多其他库中发生的情况。不过，TF 中没有严格的前向/后向分离 - 您可以自由地对图表进行修改、混合和做任何您想做的事情 - 最终这些只是相互依赖的节点，具有一个方向 数据流。