r - 如何在 R 中计算要删除的最少观察数以实现 2 组之间的完全可分离性

Question

问题:在 R 中计算要移除的最小观测值数量，以实现 2 组之间的完全分离(Nout)。

例如:

df<-data.frame(c(1,2,3,4,5,6,7,10,4,5.5,6,6.5,8,9,12),c(rep("a",8),rep("b",7)))
colnames(df)<-c("Values","Groups")
df
boxplot(df[,1]~df[,2])
points(df[,1]~df[,2],cex=2)
abline(6.2,0)

See the plot produced with the above code here .

在这种情况下，删除 a 的 2 个较高值和 b 的 3 个最低值会给出 Nout = 2 + 3 = 5 的可能解决方案。这对应于例如 6.2 的阈值(图中的红线)

是否有 R 工具可以轻松地自动计算？

我在 R ARCHIVE 中找到了 2 个类似的工具:

• N完整包: https://cran.r-project.org/src/contrib/Archive/ncomplete/ (为了完全分离)

• Noverlap 包: https://cran.r-project.org/src/contrib/Archive/noverlap/ (为了准完全分离)

它们似乎没有经过验证(代码以“NO WARRANTY”开头，并且不在事件的 R 包列表中)

Answer 1

我认为 median 在这里很有用，尽管您需要根据您将遇到的 3 种一般情况以不同方式应用它

case 1: distribution of values do not overlap
case 2: distribution of values in 1 group completely overlaps with distribution of values in other group
case 3: distribution of values partially overlap (the data example you gave)

在不同情况下如何应用中位数如下

case 1: median value of all values
case 2: median value of all values
case 3: median value of only overlapping values

你的数据和你的绘图函数

plotfun <- function(df) {
    with(df, boxplot(Values~Groups))
    with(df, points(Values~Groups, cex=2))
}

df<-data.frame(Values = c(1,2,3,4,5,6,7,10,4,5.5,6,6.5,8,9,12),
            Groups = c(rep("a",8),rep("b",7)))
df
plotfun(df)

主力函数是 myfun。它将确定 3 个案例中的哪一个是相关的，然后相应地应用中位数。如果您的值不是整数，您可以提供一个额外的参数 unitofchange。也就是说，您可能正在处理以 0.1 递增的数据。

library(dplyr)
myfun <- function(df, unitofchange=1) {
    unitofchange <- unitofchange / 10
    require(dplyr)
    summarydf <- df %>%
            group_by(Groups) %>%
            summarise(min = min(Values), max = max(Values)) %>%
            arrange(min)

    if (summarydf$max[1] < summarydf$min[2]) {
        # Case 1: distributions do not overlap
        ans <- list(Break = median(df$Values), Nout = 0)
    } else if (summarydf$max[1] > summarydf$max[2]) {
        # Case 2: one distribution is completely between other distribution
        ans <- list(Break = median(df$Values))
        ans[["Break"]] <- modifyiftie(df, unitofchange, ans[["Break"]])
        ans["Nout"] <- sum(df$Values < ans[["Break"]])
    } else {
        # Case 3: distributions partially overlap
        subset_df <- df %>%
                filter(between(Values, summarydf$min[2], summarydf$max[1]))
        ans <- list(Break = median(subset_df$Values))
        ans[["Break"]] <- modifyiftie(df, unitofchange, ans[["Break"]])
        ans["Nout"] <- sum(subset_df$Values[subset_df$Groups == summarydf$Groups[1]] > ans[["Break"]],
                    subset_df$Values[subset_df$Groups == summarydf$Groups[1]] < ans[["Break"]])
    }
    return(ans)
}

我还包含了另一个函数 modifyiftie 以应对您给出的在两个组中都找到分隔值的示例

modifyiftie <- function(df, unitofchange, b) {
    require(dplyr)
    tie <- df %>%
        group_by(Groups) %>%
        filter(Values == b)

    if (nrow(tie) > 0 & all(unique(tie$Groups) %in% unique(df$Groups))) {       # tie is true
        return(b + unitofchange)
    } else {
        return(b)
    }
}

三种不同情况的输出

案例 3:您的数据

df<-data.frame(Values = c(1,2,3,4,5,6,7,10,4,5.5,6,6.5,8,9,12),
            Groups = c(rep("a",8),rep("b",7)))
df
myfun(df)

# $Break
# [1] 6.1

# $Nout
# [1] 5

情况 1:分布不重叠

set.seed(1)
df<-data.frame(Values = c(runif(10)*10, (runif(10)*10)+10),
            Groups = rep(c("a","b"), each=10))
plotfun(df)
myfun(df)

# $Break
# [1] 10.60616

# $Nout
# [1] 0

情况 2:一组的分布介于另一组的分布之间

set.seed(1)
df<-data.frame(Values = c((runif(10)*5)+5, runif(10)*20),
            Groups = rep(c("a","b"), each=10))
plotfun(df)
myfun(df)

# $Break
# [1] 8.22478

# $Nout
# [1] 10