python - SKLearn 交叉验证 : How to pass info on fold examples to my scorer function?

Question

我正在尝试制作一个自定义评分器函数，用于在 scikit-learn (Python) 中交叉验证我的(二元分类)模型。

我的原始测试数据的一些示例:

Source   Feature1   Feature2   Feature3
 123        0.1        0.2        0.3
 123        0.4        0.5        0.6
 456        0.7        0.8        0.9

假设任何折叠都可能包含来自同一来源的多个测试示例...

然后对于具有相同来源的示例集，我希望我的自定义评分器“确定”“获胜者”是模型吐出更高概率的示例。换句话说，每个来源只能有一个正确的预测，但如果我的模型声称不止一个评估示例是“正确的”(标签= 1)，我希望概率最高的示例与事实相匹配我的得分手。

我的问题是 scorer 函数需要签名:

score_func(y_true, y_pred, **kwargs)

其中 y_true 和 y_pred 仅包含概率/标签。

然而，我真正需要的是:

score_func(y_true_with_source, y_pred_with_source, **kwargs)

所以我可以按来源对 y_pred_with_source 示例进行分组，然后选择获胜者来与 y_true_with_source 真相相匹配。例如，然后我可以继续计算我的精度。

有没有办法以某种方式传递这些信息？也许是示例的索引？

Answer 1

听起来您在这里遇到了学习排名问题。您正在尝试从每组实例中找出排名最高的实例。 scikit-learn 现在不直接支持学习排名 - scikit-learn 几乎假设 i.i.d.实例 - 所以你必须做一些额外的工作。

我认为我的第一个建议是降低 API 中的级别并使用 cross-validation iterators .那只会生成用于训练和验证折叠的索引。您可以使用这些索引对数据进行子集化，并在子集上调用 fit 和 predict，删除 Source，然后使用 对其进行评分>源列。

您或许可以将其破解到 cross_val_score 方法中，但它更棘手。在 scikit-learn 中，上面显示的评分函数与 scoring object 之间存在区别。 (可以是一个函数)由 cross_val_score 获取。评分对象是一个可调用对象或函数，其签名为 scorer(estimator, X, y)。在我看来，您可以定义一个适用于您的指标的评分对象。您只需在将数据发送到估算器之前删除 Source 列，然后在计算指标时使用该列。如果你走这条路，我认为你还必须包装分类器，以便它的 fit 方法跳过 Source 列。

希望对您有所帮助...祝您好运!