machine-learning - 何时使用评分与指标来评估 ML 性能

Question

您好，“评分”和“指标”之间的基本区别是什么？这些用于衡量性能，但它们有何不同？

如果你看到这个例子

下面的交叉验证使用“neg_mean_squared_error”进行评分

X = array[:, 0:13]
Y = array[:, 13]
seed = 7
kfold = model_selection.KFold(n_splits=10, random_state=seed)
model = LinearRegression()
scoring = 'neg_mean_squared_error'
results = model_selection.cross_val_score(model, X, Y, cv=kfold, scoring=scoring)
print("MSE: %.3f (%.3f)") % (results.mean(), results.std())

但在下面的 xgboost 示例中，我使用的指标 = 'rmse'

cmatrix = xgb.DMatrix(data=X, label=y)
params = {'objective': 'reg:linear', 'max_depth': 3}
cv_results = xgb.cv(dtrain=cmatrix, params=params, nfold=3, num_boost_round=5, metrics='rmse', as_pandas=True, seed=123)

print(cv_results)

Answer 1

how do they differ?

他们没有；这些实际上只是声明同一件事的不同术语。

准确地说，评分是一种过程，在该过程中，人们根据某种指标(或得分)。参数 scoring 的 scikit-learn 术语选择(如您的第一个片段中所示)是相当不幸的(它实际上意味着评分函数函数)，因为 MSE(及其变体) ，因为负 MSE 和 RMSE)是指标或分数。但实际上，如示例片段所示，这两个术语用作同义词并且经常互换使用。

这里真正感兴趣的区别不是“分数”和“指标”之间的区别，而是损失(通常称为成本)和准确性等指标之间的区别(对于分类问题)；这常常是新用户感到困惑的一个原因。您可能会发现我在以下主题中的答案很有用(忽略某些标题中提到的 Keras，答案通常适用):

• Loss & accuracy - Are these reasonable learning curves?
• How does Keras evaluate the accuracy?
• Optimizing for accuracy instead of loss in Keras model