python - 每个示例具有不同权重的 Keras 自定义损失函数

Question

我正在尝试在 Keras 中实现一个自定义损失函数，其中每个单独的示例(不是类)都有不同的权重。

准确地说，给定通常的 y_true(例如 <1,1,0>)和 y_pred(例如 <1,0.2,0.8>)，我我正在尝试创建权重(例如<0.81、0.9、1.0>)并将它们与binary_crossentropy 损失函数一起使用。我试过:

import numpy as np
from keras import backend as K

def my_binary_crossentropy(y_true, y_pred):
    base_factor = 0.9
    num_examples = K.int_shape(y_true)[0]

    out = [ K.pow(base_factor, num_examples - i - 1) for i in range(num_examples) ]
    forgetting_factors = K.stack(out)

    return K.mean(
        forgetting_factors * K.binary_crossentropy(y_true, y_pred),
        axis=-1
    )

并且可以很好地处理这个简单的例子:

y_true = K.variable( np.array([1,1,0]) )
y_pred = K.variable( np.array([1,0.2,0.8]) )
print K.eval(my_binary_crossentropy(y_true, y_pred))

但是，当我将它与 model.compile(loss=my_binary_crossentropy, ...) 一起使用时，出现以下错误:TypeError: range() integer end argument expected, got NoneType 。

我已经尝试了一些东西。我将 K.int_shape 替换为 K_shape，现在得到:TypeError: range() integer end argument expected, got Tensor. 我进一步替换了 range() 和 K.arange() 现在得到:TypeError: Tensor objects are not iterable when eager execution is not enabled.要迭代此张量，请使用 tf.map_fn。

谁能帮帮我？我错过了什么？非常感谢!

Answer 1

K.pow可以将一系列指数作为参数。因此，您可以先计算指数，作为张量 ([num_examples - 1, num_examples - 2, ..., 0])，然后将此张量输入 K.pow。 .这里num_examples基本上就是K.shape(y_pred)[0] , 这也是一个张量。

def my_binary_crossentropy(y_true, y_pred):
    base_factor = 0.9
    num_examples = K.cast(K.shape(y_pred)[0], K.floatx())
    exponents = num_examples - K.arange(num_examples) - 1
    forgetting_factors = K.pow(base_factor, exponents)
    forgetting_factors = K.expand_dims(forgetting_factors, axis=-1)
    forgetting_factors = K.print_tensor(forgetting_factors)  # only for debugging

    loss = K.mean(
        forgetting_factors * K.binary_crossentropy(y_true, y_pred),
        axis=-1
    )
    loss = K.print_tensor(loss)  # only for debugging
    return loss

例如，两个 K.print_tensor 打印的输出陈述将是这样的:

model = Sequential()
model.add(Dense(1, activation='sigmoid', input_shape=(100,)))
model.compile(loss=my_binary_crossentropy, optimizer='adam')

model.evaluate(np.zeros((3, 100)), np.ones(3), verbose=0)
[[0.809999943][0.9][1]]
[0.56144917 0.623832464 0.693147182]

model.evaluate(np.zeros((6, 100)), np.ones(6), verbose=0)
[[0.590489924][0.656099916][0.728999913]...]
[0.409296423 0.454773813 0.505304217...]

由于四舍五入误差，数字并不准确。 forgetting_factors (在 model.evaluate 之后打印的第一行)确实是 0.9 的幂。您还可以验证返回的损失值衰减了 0.9 倍( 0.623832464 = 0.693147182 * 0.9 和 0.56144917 = 0.693147182 * 0.9 ** 2 等)。