tensorflow - tensorflow 中每个示例的未聚合梯度/梯度

Question

考虑到 tensorflow 中 mnist 上的一个简单的小批量梯度下降问题(就像在这个 tutorial 中)，我如何单独检索批次中每个示例的梯度。
tf.gradients()似乎返回批次中所有示例的平均梯度。有没有办法在聚合前检索梯度？

编辑:解决这个问题的第一步是弄清楚 tensorflow 在哪个点对批次中的示例的梯度进行平均。我以为这发生在 _AggregatedGrads ，但情况似乎并非如此。有任何想法吗？

Answer 1

tf.gradients返回关于损失的梯度。这意味着如果您的损失是每个示例损失的总和，那么梯度也是每个示例损失梯度的总和。

总结是含蓄的。例如，如果您想最小化 Wx-y 的范数平方和误差，关于 W 的梯度是 2(WX-Y)X'哪里X是批观察和Y是一批标签。您永远不会明确形成稍后总结的“每个示例”梯度，因此删除梯度管道中的某个阶段并不是一件简单的事情。

获取k的简单方法每个示例的损失梯度是使用大小为 1 的批次并执行 k通过。伊恩·古德费罗 wrote up如何获得所有k单程中的渐变，为此您需要明确指定渐变而不是依赖 tf.gradients方法