python - Scikit 学习 : Cross validation and Confidence Intervals

Question

我正在尝试使用 scikit-learn 中的 DecisionTreeClassifier 计算我的分类模型的置信区间。

阅读有关交叉验证和置信区间的 scikit-learn 文档 (https://scikit-learn.org/dev/modules/cross_validation.html)，我找到了下面的代码，它看起来非常简单；但是我不明白为什么上限要大于1，准确率怎么会高于100%？

from sklearn.model_selection import cross_val_score
clf = svm.SVC(kernel='linear', C=1)
scores = cross_val_score(clf, iris.data, iris.target, cv=5)
print("Accuracy: %0.2f (+/- %0.2f)" % (scores.mean(), scores.std() * 2))
Accuracy: 0.98 (+/- 0.03)

Answer 1

显然不能大于1。

此代码中的基本假设是在scores 中计算的分数是根据正态分布分布的。然后 95% 置信区间由 mean+/- 2*std 给出。

它在大多数情况下都会给出合理的结果，但在您的情况下，它只是定义不明确，因为平均准确度已经非常接近 1。我知道这不是一个很好的解决方案，但也许您可以降低信心间隔到 68%？那么你只需要去掉 std 前面的因子 2，上限就是 99.5%。