python-3.x - 如何使用opencv创建自定义keras损失函数？

Question

我正在使用keras开发机器学习模型，并且注意到可用的损失函数无法在我的测试集上提供最佳结果。

我正在使用Unet架构，在该架构中，我输入(16,16,3)图像，并且网络还输出(16,16,3)图片(自动编码器)。我注意到，也许改进模型的一种方法是使用损失函数，将净输出和地面实况之间的梯度(拉普拉斯)上的像素进行比较。但是，我没有找到任何可处理此类应用程序的教程，因为它需要在网络的每个输出图像上使用opencv laplacian函数。

损失函数可能是这样的:

def laplacian_loss(y_true, y_pred):

  # y_true already is the calculated gradients, only needs to compute on the y_pred
  # calculates the gradients for each predicted image
  y_pred_lap = []
  for img in y_pred:
    laplacian = cv2.Laplacian( np.float64(img), cv2.CV_64F )
    y_pred_lap.append( laplacian )

  y_pred_lap = np.array(y_pred_lap)

  # mean squared error, according to keras losses documentation
  return K.mean(K.square(y_pred_lap - y_true), axis=-1)

有没有人做过类似的事情来计算损失？

Answer 1

给定上面的代码，在考虑均方误差之前，这似乎等同于将Lambda()层用作在图像中应用该变换的输出层。

无论它是作为Lambda()层还是在损失函数中实现的；转换必须使Tensorflow理解如何计算梯度。最简单的方法是使用Tensorflow数学运算重新实现cv2.Laplacian计算。

为了直接使用cv2库，您需要创建一个函数来计算cv2库内部发生的变化的梯度。这似乎更容易出错。

梯度下降优化依赖于能够计算从输入到损耗的梯度。然后回来。中间的任何操作都必须是可区分的；而且Tensorflow必须了解数学运算才能自动进行微分运算;或者您需要手动添加它们。