r - 引导 Krippendorff 的 Alpha

Question

我想计算 - 通过引导 Krippendorff 的 Alpha 结果 - 使用 R 包 irr 计算 Krippendorff 评估者可靠性的 Alpha 系数的 95% 置信区间。

让我们使用包 irr 中的“来自 Krippendorff 的 C 数据”和 R 脚本来计算一次 Krippendorff 的 Alpha:

# the "C" data from Krippendorff
#rater per row; rated subject per column; NAs allowed
library(irr)
nmm<-matrix(c(1,1,NA,1,2,2,3,2,3,3,3,3,3,3,3,3,2,2,2,2,1,2,3,4,4,4,4,4,
1,1,2,1,2,2,2,2,NA,5,5,5,NA,NA,1,1,NA,NA,3,NA),nrow=4)
kripp.alpha(nmm,"ordinal")

Answer 1

您可以使用 boot来自 boot 的函数包以引导值。在这里，我将引导一组主题，但保持评分者固定:

library(boot)
library(irr)
ka <- function(data, indices) kripp.alpha(nmm[,indices], "ordinal")$value
b <- boot(seq(ncol(nmm)), ka, 1000)

现在您可以使用 boot.ci计算自举值的 95% 置信区间的函数；我将使用百分位置信区间，但其他可用(查看 ?boot.ci ):

boot.ci(b, type="perc")
# BOOTSTRAP CONFIDENCE INTERVAL CALCULATIONS
# Based on 1000 bootstrap replicates
# 
# CALL : 
# boot.ci(boot.out = b, type = "perc")
# 
# Intervals : 
# Level     Percentile     
# 95%   ( 0.4297,  1.0000 )  
# Calculations and Intervals on Original Scale