python - 计算时对网络权重的自定义操作

Question

我正在使用 TensorFlow 和 Python 创建自定义神经网络。在传递每个输入数据之前，我需要更改权重和偏差。网络的架构很常见(顺序的、监督的、反向传播的)，唯一的区别是在每次通过之前我需要做一些计算。

例如，我有一些输入 (x)，在我通过网络传递它们并计算网络结果 (y) 之前，在每次传递中我需要运行一个函数来更改权重。我的问题是如何才能做到这一点，在我计算出新的权重和偏差之后，网络会进一步正常地计算其他所有内容(整个网络计算、损失和优化函数)？如果可能的话，我如何达到权重然后创建额外的自定义步骤？

Answer 1

您应该首先收集所有应该在集合中更改的权重 like this way或按名称选择变量，然后您可以进行更改，然后将更改后的值分配给原始变量。在 sess.run 之后你可以在现实中改变它们。

例如:

t_vars = tf.trainable_variables()
d_vars = [var for var in t_vars if 'this_' in var.name]
clip_D = [p.assign(tf.clip_by_value(p, -1, 1)) for p in d_vars]