python - 训练 E-net 进行人体分割

Question

我正在尝试训练语义分割网络(E-Net)，特别是用于高质量的人体分割。为此，我收集了“Supervisely Person”数据集并使用提供的 API 提取了注释掩码。该数据集拥有高质量的掩模，因此我认为与例如相比，它将提供更好的结果。 COCO 数据集。

监督 - 下面的示例:原始图像 - 真实情况。

首先我想提供模型的一些细节。网络本身(Enet_arch)返回来自最后一个卷积层的logits以及通过tf.nn.sigmoid(logits,name='logits_to_softmax')产生的概率。 .

我在基本事实上使用 sigmoid 交叉熵，并在学习率上使用返回的逻辑、动量和指数衰减。模型实例和训练流程如下。

    self.global_step = tf.Variable(0, name='global_step', trainable=False)
    self.momentum = tf.Variable(0.9, trainable=False)

    # introducing weight decay
    #with slim.arg_scope(ENet_arg_scope(weight_decay=2e-4)):
    self.logits, self.probabilities  = Enet_arch(inputs=self.input_data, num_classes=self.num_classes, batch_size=self.batch_size) # returns logits (2d), probabilities (2d)

    #self.gt is int32 with values 0 or 1 (coming from read_tfrecords.Read_TFRecords annotation images + placeholder defined to int)
    self.gt = self.input_masks

    # self.probabilities is output of sigmoid, pixel-wise between probablities [0, 1].
    # self.predictions is filtered probabilities > 0.5 = 1 else 0
    self.predictions = tf.to_int32(self.probabilities > 0.5)

    # capture segmentation accuracy
    self.accuracy, self.accuracy_update = tf.metrics.accuracy(labels=self.gt, predictions=self.predictions)

    # losses and updates
    # calculate cross entropy loss on logits
    loss = tf.losses.sigmoid_cross_entropy(multi_class_labels=self.gt, logits=self.logits)

    # add the loss to total loss and average (?)
    self.total_loss = tf.losses.get_total_loss()

    # decay_steps = depend on the number of epochs
    self.learning_rate = tf.train.exponential_decay(self.starter_learning_rate, global_step=self.global_step, decay_steps=123893, decay_rate=0.96, staircase=True)

    #Now we can define the optimizer
    #optimizer = tf.train.AdamOptimizer(learning_rate=self.learning_rate, epsilon=1e-8)
    optimizer = tf.train.MomentumOptimizer(self.learning_rate, self.momentum)

    #Create the train_op.
    self.train_op = optimizer.minimize(loss, global_step=self.global_step)

我首先尝试在单个图像上过度拟合模型，以确定该网络可以捕获的细节的深度。为了提高输出质量，我将所有图像的大小调整为 1080p，然后再将其输入网络。在这次试验中，我对网络进行了 10K 次迭代训练，总误差达到了约 30%(从 tf.losses.get_total_loss() 捕获)。

在单个图像上训练的结果非常好，如下所示。

监督 - 下面的示例:(1) 损失 (2) 输入(调整大小之前)|地面实况(调整大小之前)| 1080p 输出

后来，我尝试对整个数据集进行训练，但训练损失产生了很多振荡。这意味着网络在某些图像中表现良好，而在其他图像中则表现不佳。结果，经过 743360 次迭代(即 160 个时期，因为训练集包含 4646 个图像)后，我停止了训练，因为显然我所做的超参数选择有问题。

监督 - 下面的示例:(1) 损失 (2) 学习率 (3) 输入(调整大小之前)|地面实况(调整大小之前)| 1080p 输出

另一方面，在训练集图像的某些实例上，网络会产生公平(但不是很好)的结果，如下所示。

监督 - 下面的示例:输入(调整大小之前)|地面实况(调整大小之前)| 1080p 输出

为什么我在这些训练实例上存在这些差异？我应该对模型或超参数进行任何明显的更改吗？该模型是否可能不适合该用例(例如网络容量低)？

提前致谢。

Answer 1

事实证明，这里的问题确实是E-net架构的问题。我使用 DeepLabV3 更改了架构，发现损失行为和性能有很大差异......即使在小分辨率下!