python - 使用第二动量作为新成本函数的一部分？ (Tensorflow 和/或 keras)

Question

我目前正在尝试采用 Adam 的二阶矩项 v_t，并将其用作成本函数中的附加项。我怎样才能实现这样的事情:

Cost = Cross Entropy + v_t*some_function(weights)

这可以在 python 中完成吗？或者我是否必须编写自己的 C++ 代码才能完成此操作？这在像 Keras 这样的框架中也很容易实现吗？这是我试图添加到 keras 中的成本函数的代码:

def my_loss(y_pred, y_true, current_weights, v_t):
     normal_loss=K.categorial_cross_entropy(y_pred,y_true)
     additional_term=K.dot(K.square(current_weights - K.some_function(current_weights)), v_t)
     return normal_loss + additional_term

Answer 1

无论您使用什么框架执行此操作，这都会有问题。具体来说，我们从 ADAM paper相关行:

g_t = d Cost / d weights
v_t = beta2 * v_{t-1} + (1 - beta2) g_t^2

现在，如果您要将 v_t 包含在 Cost 中，这将是一个隐式方程:

g_t = d Cross Entropy / d weights + d (v_t*some_function) / d weights
v_t = beta2 * v_{t-1} + (1 - beta2) g_t^2

注意 v_t 如何出现在两个等式中。我们可以将其扩展为更清晰

v_t = beta2 * v_{t-1} + (1 - beta2) [d Cross Entropy / d weights + d (v_t*some_function) / d weights]^2

您可以尝试精确地解决这个问题，但这样做您将不得不使用某种形式的隐式求解器，这在计算上会非常昂贵。一种方法是 fixed point iteration .