tensorflow - Keras 自定义损失函数，具有带有 tensorflow 后端的二进制(圆形)

Question

我目前正在尝试实现具有二进制结果的自定义损失函数(精度)，但 Tensorflow 后端拒绝使用生成“0”或“1”所必需的舍入函数。

据我调查，这是因为Tensorflow将回合的梯度定义为None，并且损失函数不能返回None。

我目前已实现此自定义损失，以在 R Keras 界面中创建尽可能接近的“0”或“1”。

precision_loss<-function(y_true,y_pred){
  y_pred_pos = K$clip(y_pred, 0, 1)
  #Custom sigmoid to generate '0' '1'
  y_pred_pos =  K$maximum(0,K$minimum(1,(y_pred_pos+0.0625)/0.125))
  y_pred_neg = 1 - y_pred_pos
  y_pos = K$clip(y_true, 0, 1)
  #Custom sigmoid to generate '0' '1'
  y_pos =  K$maximum(0,K$minimum(1,(y_pos+0.0625)/0.125))
  y_neg = 1 - y_pos
  #Generate confusion matrix counts
  tp = K$sum(y_pos*y_pred_pos)
  tn = K$sum(y_neg*y_pred_neg)
  fp = K$sum(y_neg*y_pred_pos)
  fn = K$sum(y_pos*y_pred_neg)
  return(1-(tp/(tp+fp+K$epsilon())))
}

注意“sigmoid”:K$maximum(0,K$minimum(1,(y_pos+0.0625)/0.125))

我想要实现的是这个问题的解决方法:

precision_loss<-function(y_true, y_pred){
  y_pred_pos = K$round(K$clip(y_pred, 0, 1))
  y_pred_neg = 1 - y_pred_pos
  y_pos = K$round(K$clip(y_true, 0, 1))
  y_neg = 1 - y_pos
  #Generate confusion matrix counts
  tp = K$sum(K$clip(y_pos * y_pred_pos,0,1))
  tn = K$sum(K$clip(y_neg * y_pred_neg,0,1))
  fp = K$sum(K$clip(y_neg * y_pred_pos,0,1))
  fn = K$sum(K$clip(y_pos * y_pred_neg,0,1))
  return(1-(tp/(tp+fp+K$epsilon())))
}

你们中的一些人有另一种实现方式，无需使用 round 在损失函数中生成二进制结果？

PD:在自定义指标函数中允许回合

Answer 1

为了构建二元损失函数，仅构建自定义损失函数本身是不够的。您还必须预先定义渐变。

您的高维损失函数对于某些点将为零，而对于所有其他点则为 1。对于这个空间中的所有非连续点，不可能分析计算梯度(即这些点甚至不存在梯度的概念)，因此您必须定义一。对于该空间中的所有连续点(例如，所有损失值为 1 的开集)，梯度将存在，但为零，因此您还必须预先定义梯度值，否则你的权重根本不会移动。

这意味着无论哪种方式，您都必须定义自己的自定义“梯度”计算函数，以替换图中特定节点(损失函数节点)的 Keras(即 TensorFlow)自动微分引擎。

您当然可以通过修改 Keras 或 TensorFlow 的本地副本来实现此目的，但不会产生任何好处。

此外，即使您设法做到了这一点，请考虑这一点:如果您的损失函数仅返回 0 或 1，这意味着它只能区分两种状态:模型的预测要么 100% 正确(0 损失)，要么不是 100% 正确(1 次丢失)。对于所有非 100% 的情况，梯度的大小必须相同。这是一个理想的属性(property)吗？

你的准二元 sigmoid 解决方案也有同样的问题:梯度几乎在任何地方都几乎为零，并且在梯度不会几乎为零的少数点上，它将几乎无穷大。如果您尝试使用该损失函数训练模型，它不会学到任何东西。