gpt4 book ai didi

python - tf.zeros() 是否返回 tf.get_variable()?

转载 作者:行者123 更新时间:2023-11-28 17:07:53 32 4
gpt4 key购买 nike

试图了解 keras 优化器中的 SGD 优化代码 (source code)。在 get_updates 模块中,我们有:

# momentum
shapes = [K.int_shape(p) for p in params]
moments = [K.zeros(shape) for shape in shapes]
self.weights = [self.iterations] + moments
for p, g, m in zip(params, grads, moments):
v = self.momentum * m - lr * g # velocity
self.updates.append(K.update(m, v))

其中 K = keras.backend。现在,由于 moments 被设置为零张量列表,而 m 是该列表的迭代,为什么 m 不总是求值到 v = self.momentum * m - lr * g?

行中的零张量

现在我为 tensorflow ( source code ) 查找了 keras.backend.zeros 的代码,keras.backend.zeros 返回了 tf.zeros ,它显然返回一个恒定的零张量。 (编辑:或者返回一个 tf.Variable 如果指定了形状则用 tf.zeros 初始化。)

我的直觉是它会返回类似 tf.get_variable() 的东西,初始化器为零,因此张量不会每次都被覆盖。相反,名为 m 的张量只会通过 K.update() 不断更新。

tf.zeros() 是否真的像 tf.get_variable() 那样使用零初始化?还有什么我想念的吗?

编辑:所以即使指定了形状,上面链接的源代码似乎仍然返回一个新的张量变量,而不是重用现有的变量(即使用 get_variable() ),这似乎很难,因为没有指定名称。仍然对为什么返回现有变量而不是新的零张量变量感到困惑。

最佳答案

我认为您错过了正确的 K.zeros 函数。这是 keras 2.1 ( keras/backend/tensorflow_backend.py ) 中的源代码:

def zeros(shape, dtype=None, name=None):
"""Instantiates an all-zeros variable and returns it.

# Arguments
shape: Tuple of integers, shape of returned Keras variable
dtype: String, data type of returned Keras variable
name: String, name of returned Keras variable

# Returns
A variable (including Keras metadata), filled with `0.0`.

# Example
```python
>>> from keras import backend as K
>>> kvar = K.zeros((3,4))
>>> K.eval(kvar)
array([[ 0., 0., 0., 0.],
[ 0., 0., 0., 0.],
[ 0., 0., 0., 0.]], dtype=float32)
```
"""
if dtype is None:
dtype = floatx()
tf_dtype = tf.as_dtype(dtype)
return variable(tf.constant_initializer(0., dtype=tf_dtype)(shape),
dtype, name)

如您所见,它实际上返回的是用零初始化的变量,而不是常数零张量。 documentation声明相同:

Instantiates an all-zeros variable and returns it.


编辑:后续问题的答案。

这实际上是一个很好的观察:你是对的,随后调用 Optimizer.get_updates(loss, params) 将创建变量,分配 self.updates 的新 操作和self.weights 权重。从某种意义上说,get_updates 方法是优化器构造函数的一部分。

但是它是这样工作的:这个方法在每个模型实例中被调用 一次。它返回在不同批处理的循环中多次应用的更新操作列表,但操作本身保持不变。这是 Model 类 ( keras/engine/training.py ) 的相关代码:

def _make_train_function(self):
...
if self.train_function is None:
...
with K.name_scope('training'):
with K.name_scope(self.optimizer.__class__.__name__):
training_updates = self.optimizer.get_updates(
params=self._collected_trainable_weights,
loss=self.total_loss)
updates = self.updates + training_updates + self.metrics_updates
# Gets loss and metrics. Updates weights at each call.
self.train_function = K.function(inputs,
[self.total_loss] + self.metrics_tensors,
updates=updates,
name='train_function',
**self._function_kwargs)

self.optimizer.get_updates(...) 仅被调用一次以构建 train_function

随意检查其他优化器并检查它们是否都在 get_updates() 方法内准备权重和更新操作。

关于python - tf.zeros() 是否返回 tf.get_variable()?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49862270/

32 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com