python - 使用 brat 注释文件计算注释者间协议(protocol)

Question

我们一直在使用 brat (http://brat.nlplab.org/) 使用三个注释器来注释三个类别的文本样本:PERS、ORG、GPE。我想计算该样本的注释者间协议(protocol)。但是，我似乎没有找到一种简单的方法来做到这一点。我试过这个 Python 包:https://github.com/savkov/BratUtils ，但它似乎失败了。

对于每个带注释的样本，我有三个 .ann 文件，我想为其计算注释者间协议(protocol)。文件中的数据如下所示:

T1  Person 173 183  Alexanders
T2  Person 444 450  Hannah
T3  Person 754 766  Corneliszoon
T4  GPE 787 796 Antwerpen
T5  Person 824 833  Alexander

是否有一种简单的方法来计算注释者间一致性(使用 Python 或基于网络的工具)？

Answer 1

我设计了一个工具来计算注释者的一致性。它主要针对 Doccano，但只要稍加调整，它就可以计算任何东西。请看:https://github.com/vwoloszyn/diaa/