python - Python 中的评分者间协议(protocol)(Cohen 的 Kappa)

Question

我有 3 位评分者对 60 个案例的评分。这些是按文档组织的列表 - 第一个元素是指第一个文档的评级，第二个是第二个文档的评级，依此类推:

rater1 = [-8,-7,8,6,2,-5,...]
rater2 = [-3,-5,3,3,2,-2,...]
rater3 = [-4,-2,1,0,0,-2,...]

某处是否有 Cohen 的 Kappa 的 python 实现？我在 numpy 或 scipy 中找不到任何东西，在 stackoverflow 上也找不到任何东西，但也许我错过了？这是一个很常见的统计数据，所以我很惊讶我找不到像 Python 这样的语言。

Answer 1

Cohen's kappa在 scikit-learn 0.17 中引入:

sklearn.metrics.cohen_kappa_score(y1, y2, labels=None, weights=None)

Example :

from sklearn.metrics import cohen_kappa_score
labeler1 = [2, 0, 2, 2, 0, 1]
labeler2 = [0, 0, 2, 2, 0, 2]
cohen_kappa_score(labeler1, labeler2)

作为提醒，来自 {1}:

---

引用资料:

• {1} Viera、Anthony J. 和 Joanne M. Garrett。 “了解观察者间协议(protocol):kappa 统计。”家庭医学 37，没有。 5 (2005):360-363。 https://www.ncbi.nlm.nih.gov/pubmed/15883903 :