function - theano 函数的更新列表的更新顺序

Question

Theano 函数的参数更新采用一个pair 列表，其中每个pair 指定一个共享符号变量及其在计算函数输出后的新表达式。
我想知道更新程序是否有任何命令。
如果两个符号变量的新表达式相互依赖，并且更新过程将使用更新的符号变量来更新依赖它的其他符号变量，那么顺序将很重要。
例如，此列表可能如下所示，

[(a, b + a), (b, b+ 1)]

我已经写了一些函数来测试这个。结果似乎表明它总是使用表达式中的旧值(对中的第二项)来更新第一项中的符号变量，即，

 a_new = b_old + a_old
 b_new = b_old + 1

这是一个定义的行为吗？

但是我发现了动量的实现 here ,
以下是生成更新列表和 param_update 符号变量的代码

param_update = theano.shared(param.get_value()*0., broadcastable=param.broadcastable)
updates += [(param, param - learning_rate*param_update),
 (param_update, momentum * param_update + (1. - momentum)*T.grad(cost, param))

然后在第一次迭代中，param 不会更新，因为 param_updates 都为零。在我的理解中，应该先更新 param_update，然后再用它来更新 param。

Answer 1

对于更新，它总是使用先前的值(Theano 函数调用之前的值)。所以你找到了正确的东西。

对于势头，我认为有延迟是正常的。