python - Keras 为 YOLO 定制损失函数

Question

我正在尝试在 Keras 中定义自定义损失函数

def yolo_loss(y_true, y_pred):

这里 y_true 和 y_pred 的形状为 [batch_size,19,19,5]。

对于批处理中的每个图像，我想将损失计算为:

loss =   
square(y_true[:,:,0] - y_pred[:,:,0])  
+ square(y_true[:,:,1] - y_pred[:,:,1])   
+ square(y_true[:,:,2] - y_pred[:,:,2])   
+ (sqrt(y_true[:,:,3]) - sqrt(y_pred[:,:,3]))  
+ (sqrt(y_true[:,:,4]) - sqrt(y_pred[:,:,4]))

我想到了几种方法来做到这一点，

1)使用for循环:

def yolo_loss(y_true, y_pred):
    y_ret = tf.zeros([1,y_true.shape[0]])
    for i in range(0,int(y_true.shape[0])):
        op1 = y_true[i,:,:,:]
        op2 = y_pred[i,:,:,:]
        class_error = tf.reduce_sum(tf.multiply((op1[:,:,0]-op2[:,:,0]),(op1[:,:,0]-op2[:,:,0])))
        row_error = tf.reduce_sum(tf.multiply((op1[:,:,1]-op2[:,:,1]),(op1[:,:,1]-op2[:,:,1])))
        col_error = tf.reduce_sum(tf.multiply((op1[:,:,2]-op2[:,:,2]),(op1[:,:,2]-op2[:,:,2])))
        h_error = tf.reduce_sum(tf.abs(tf.sqrt(op1[:,:,3])-tf.sqrt(op2[:,:,3])))
        w_error = tf.reduce_sum(tf.abs(tf.sqrt(op1[:,:,4])-tf.sqrt(op2[:,:,4])))
        total_error = class_error + row_error + col_error + h_error + w_error
        y_ret[0,i] = total_error
    return y_ret

但这给了我一个错误:

ValueError: Cannot convert a partially known TensorShape to a Tensor: (1, ?)

这是因为我猜批量大小未定义。

2) 另一种方法是将 sqrt 变换应用于批处理中的每个图像张量，然后将它们相减，然后应用平方变换。

例如

1) sqrt(y_true[:,:,:,3])  
2) sqrt(y_pred[:,:,:,3])  
3) sqrt(y_true[:,:,:,4])  
4) sqrt(y_pred[:,:,:,4])  
5) y_new = y_true-y_pred  
6) square(y_new[:,:,:,0])  
7) square(y_new[:,:,:,1])  
8) square(y_new[:,:,:,2])  
9) reduce_sum for each new tensor in the batch and return o/p in shape [1,batch_size]

但是我找不到在 Keras 中执行此操作的方法。

有人可以建议，实现这个损失函数的最佳方法是什么。我在后端使用带有 tensorflow 的 Keras。

Answer 1

您可以查看此 git hub 页面。

https://github.com/experiencor/keras-yolo2