machine-learning - 几乎为零目标的神经网络

Question

我对神经网络非常陌生。我有一个包含16M记录的数据集，其中只有70K被标记为1，其余为0(即使设置一些特殊限制，总数也不会少于2.5M记录，其中58K被标记为1，并且限制不也完全合乎逻辑)。处理这类数据有什么特殊的做法吗？

现在，如果我只编写一个始终返回 0 的函数，那么准确率将达到 99.56%!神经网络到底是一个合适的选择吗？如果不是，我的替代方案是什么？如果是，应该如何处理？

tnx

Answer 1

您可以尝试分别为标记为 1 的样本或来自两个类的样本小批量赋予更高的权重，以便网络显示来自两个类的相同数量的示例。

对于第一种方法，Keras 等框架提供了为每个类包含权重因子的选项:

class_weights = {
    0: 1.0,
    1: 43.0,
}

model.fit(X, y, ..., class_weight=class_weights)

scikit-learn 有一种自动计算类权重的方法，如 this comment on Kaggle 所示

在这种情况下，准确性并不是衡量网络性能的好方法。第 1 类的精确度、召回率或类似的度量可能有助于更好地理解模型的性能。