python - 神经网络预测区间——MVE方法

Question

我想训练一个也返回预测区间的神经网络，这样我就可以了解我对预测的信心。似乎有四种主要方法可以实现这一目标，这在论文《基于神经网络的预测区间的综合回顾和新方法》中进行了总结。进展”:https://ieeexplore.ieee.org/document/5966350

我对均值方差估计(MVE)方法感兴趣，因为它似乎是最容易理解的。然而，我正在努力弄清楚如何在 Keras 中实现这一点。

我猜损失函数将定义为:

def mve_cost(y_true, y_pred, var_pred):
  loss = 0.5*tf.reduce_sum(tf.log(var_pred) + tf.divide((tf.square(y_true - y_pred)),(tf.square(var_pred)))  )
  return loss

但是 Keras 中的损失函数可以接受三个输入吗？我以前从未见过这个。此外，方差神经网络的目标事先未知，并且会考虑均值神经网络所做的预测。我想这将需要 Keras 功能 API 的一些更灵活的功能，但我对如何将其组合在一起感到困惑。

• 如何正确定义 MVE 方法的损失函数？
• 如何在 Keras 功能 API 中实现两个神经网络之间的棘手关系？
• 有人知道这个方法已经在网上实现了吗？
• 是否有另一种在 Keras 中更容易理解/实现的为神经网络生成预测区间的方法？

Answer 1

像这样的方法并不容易实现，但是有一个技巧。像这样定义损失:

import keras.backend as K

def regression_nll_loss(sigma_sq, epsilon = 1e-6):
    def nll_loss(y_true, y_pred):
        return 0.5 * K.mean(K.log(sigma_sq + epsilon) + K.square(y_true - y_pred) / (sigma_sq + epsilon))

    return nll_loss

然后定义一个具有两个输出的模型，一个用于均值，另一个用于方差:

from keras.models import Model
from keras.layers import Dense, Input

inp = Input(shape=(1,))
x = Dense(32, activation="relu")(inp)
x = Dense(32, activation="relu")(x)
mean = Dense(1, activation="linear")(x)
var = Dense(1, activation="softplus")(x)

train_model = Model(inp, mean)
pred_model = Model(inp, [mean, var])

train_model.compile(loss=regression_nll_loss(var), optimizer="adam")

train_model.fit(x, y, ...)

mean, var = pred_model.predict(some_input)

诀窍是显式地将方差的张量传递给损失，因此它只需要两个输入，并且仅对均值进行监督。然后，您需要定义两个共享权重的模型，一个用于训练，另一个用于测试/推理。后一个模型返回均值和方差。

请记住对方差使用 softplus 激活以使其保持正值。我已经实现了此损失以与 Deep Ensembles 一起使用，你可以找到一个例子here .