python - 试图理解这个简单的 TensorFlow 代码

Question

我对深度学习很感兴趣，最近发现了 TenserFlow。我安装了它并按照在 https://www.tensorflow.org/get_started/get_started 找到的教程进行操作.

这是我按照该教程得出的代码:

import tensorflow as tf
W = tf.Variable(0.3, tf.float32)
b = tf.Variable(-0.3, tf.float32)
x = tf.placeholder(tf.float32)
y = tf.placeholder(tf.float32)
linear_model = W * x + b
squared_deltas = tf.square(linear_model - y)
loss = tf.reduce_sum(squared_deltas)
sess = tf.Session()
init = tf.global_variables_initializer()
sess.run(init)
optimizer = tf.train.GradientDescentOptimizer(0.01)
train = optimizer.minimize(loss)
sess.run(init)
for i in range(1000):
    sess.run(train, {x:[1,2,3,4], y:[0,-1,-2,-3]})

print(sess.run([W, b]))

目前，我只对训练前的代码感兴趣，以免不知所措。

现在，我理解了(或者至少我认为我理解了)这段代码的部分内容。它按照教程产生了预期的结果，但这段代码中的大多数行让我感到困惑。可能是因为我不熟悉所涉及的数学，但我不知道这里实际涉及多少数学，所以很难判断是否是问题所在。

不管怎样，我理解前 6 行。然后是这一行:

squared_deltas = tf.square(linear_model - y)

据我了解，它只是返回 (linear_model - y) 的平方但是，y 还没有值。

然后，loss 被赋予 tf.reduce_sum(squared_deltas) 的值。我知道损失需要尽可能低。

我该如何解释最后两行？

我有点理解 tf.Session() 和 tf.global_variables_initializer() 所以我现在不太关心这两个函数。

奖金问题:在任一方向(增加或减少)更改 tf.train.GradientDescentOptimizer() 参数中的值都会给我错误的结果。为什么 0.01 起作用而 0.1、0.001 不起作用？

我很感激能得到的任何帮助!谢谢

Answer 1

As I understand it, it simply returns the square of (linear_model - y) However, y has no value yet. Then, loss is assigned the value of tf.reduce_sum(squared_deltas). I understand that loss needs to be as low as possible. How do I even interpret these last two lines?

您显然需要阅读 TensorFlow 文档。你错过了 TF 背后的核心思想——它定义了计算图，此时没有涉及计算，你是对的——还没有“y”，至少没有值——它只是一个符号变量(占位符)，因此我们说我们的损失将是预测值和真实值 (y) 之间差异的平方均值，但我们还没有提供它。实际值开始“存在”在 session 中，在此之前，这只是一个计算图，TF 的指令，因此它知道“预期什么”。

Bonus question: changing the value in the argument of tf.train.GradientDescentOptimizer() in either direction (increase or decrease) gives me the wrong result. How come 0.01 works when 0.1, 0.001 doesn't?

线性回归(您正在使用的)收敛当且仅当学习率足够小并且您有足够的迭代次数。 0.1 可能太大了，0.01 很好，0.001 也是，您只需要 1000 次以上的迭代就可以得到 0.001，但它会起作用(任何更小的值也会起作用，但同样 - 慢得多)。