python - Keras 如何使用 class_weight 参数？

Question

Keras 使用 class_weight 参数来处理不平衡的数据集。

这是我们可以在 doc 中找到的内容:

Optional dictionary mapping class indices (integers) to a weight (float) to apply to the model's loss for the samples from this class during training. This can be useful to tell the model to "pay more attention" to samples from an under-represented class.

这是否意味着 class_weight 在训练误差函数中为每个类赋予了不同的权重？对其他地方有影响吗？与来自最具代表性的类的“物理”丢弃实例相比，它对泛化错误是否真的有效？

Answer 1

class_weight 参数加权与每个训练示例相关的损失，与该类在训练集中的代表性不足成比例。这可以防止训练期间的类不平衡，并且应该使您的网络对泛化错误具有鲁棒性。

但是，在物理上删除与代表最多的类相对应的数据实例时，我会谨慎行事 - 如果您的网络很深，因此具有显着的代表能力，则剔除您的数据集可能会导致过度拟合，从而导致验证泛化不佳/测试集。

我建议使用 Keras 文档中指定的 class_weights 参数。如果您真的打算从最具代表性的类中删除数据实例，请确保调整网络拓扑以降低模型的代表性能力(即添加 Dropout 和/或 L2 正则化层)。