math - 评估者间协议(protocol)(Fleiss 的 Kappa、Krippendorff 的 Alpha 等) Java API？

Question

我正在致力于构建一个问题分类/回答语料库，作为我硕士论文的一部分。我正在考虑评估我对评估者间一致性/可靠性的预期答案类型分类法，我想知道:有人知道有任何像样的(最好是免费的)Java API 可以做到这一点吗？

我相当确定此时我需要的只是 Fleiss 的 Kappa 和 Krippendorff 的 Alpha。

Weka 在其评估包中提供了 kappa 统计量，但我认为它只能评估分类器，而我还没有达到那个阶段(因为我仍在构建数据集和类)。

谢谢。

Answer 1

我将 Fleiss 的 kappa 的 matlab 实现移植到 Python/numpy。

http://code.google.com/p/hydrat/source/browse/src/hydrat/common/fleiss.py

实现起来并不难，也许你可以自己移植到Java上。