annotations - 当用户为任何主题注释多个类别时，注释者之间达成一致

Question

我想找到少数注释者的注释者间协议(protocol)。注释者为每个主题注释几个类别(共 10 个类别)。

例如有 3 个注释者、10 个类别和 100 个主题。

我知道http://en.wikipedia.org/wiki/Cohen's_kappa (对于两个注释者)和 http://en.wikipedia.org/wiki/Fleiss%27_kappa (对于两个以上注释者)注释者间协议(protocol)，但我意识到，如果用户为任何主题注释多个类别，它们可能不起作用。

有人知道在这种情况下确定注释间一致性吗？

谢谢

Answer 1

几年前我就不得不这样做。我不记得我到底是怎么做到的(我不再有代码)，但我有一个有效的例子可以向我的教授报告。我正在处理评论注释，有 56 个类别和 4 个注释者。

注意:当时我需要一种方法来检测注释者最不同意的地方，以便在每次注释 session 之后，他们可以专注于他们不同意的原因，并制定合理的规则来最大化此统计数据。它非常适合这个目的

Let's assume A-D are annotators and 1-5 are categories. This is a possible scenario.

     A      B      C    D     Probability of agreement
1    X      X      X    X        4/4
2    X      X      X             3/4
3    X      X                    2/4
4    X                           1/4
5 

A tags this comment as 1,2,3,4 B->1,2,3, and so forth. 

For each category the probability of agreement is calculated. 

Which is then divided by the number of unique categories tagged for that particular comment.

Therefore for the example comment, we have 10/16 as annotator's agreement. This is a value between 0 and 1. 

如果这对您不起作用，则 (http://www.mitpressjournals.org/doi/pdf/10.1162/coli.07-034-R2) pg-567，pg-587 案例研究引用了该内容。