r - 找到最佳方法来计算 R 中数百万个组合的最高 Pearson 相关性

Question

我正在处理一个大型数据集。不过，我将从一个小示例开始，以说明我要实现的目标。

我有以下向量:

season <- c("2019")
round <- c("1")
team <- c("Team A", "Team B", "Team C")
margin <- c(33, 56, 63)
score_A <- c(0.330, 0.256, 0.118)
score_B <- c(0.584, 0.176, 0.342)
score_C <- c(0.118, 0.193, 0.286)

然后我像这样创建了一个数据框:

df1 <- data.frame(season, round, team, score_A, score_B, score_C, margin)

然后我将权重应用于每个分数，例如:

df1$score_A <- df1$score_A * 0.25
df1$score_B <- df1$score_B * 0.5
df1$score_C <- df1$score_C * 0.75

然后我将所有分数相加并创建团队总分:

df1$score_total <- df1$score_A + df1$score_B + df1$score_C

library(dplyr)
df1 <- df1%>%group_by(season, round, team)%>%dplyr::mutate(score_Team_Total=sum(score_total))

我知道我可以这样计算 Pearson:

> cor(df1$margin, df1$score_Team_Total, method = "pearson")
[1] -0.5505451

虽然这不会给我逐行返回，但我不太确定如何计算它。

然而，这正是它开始变得棘手的地方。

我有一些权重，我想像这样应用于每个分数:

weightings <- c(0.25,0.5,0.75,1,1.25,1.5,2,2.5,3)

我对每个权重都有一些分数(score_A 一直到 score_R)。

第一个组合是:

df1$score_A <- df1$score_A * 0.25
df1$score_B <- df1$score_B * 0.25
df1$score_C <- df1$score_C * 0.25

第二种组合是:

df1$score_A <- df1$score_A * 0.25
df1$score_B <- df1$score_B * 0.25
df1$score_C <- df1$score_C * 0.5

第三种组合是:

df1$score_A <- df1$score_A * 0.25
df1$score_B <- df1$score_B * 0.5
df1$score_C <- df1$score_C * 0.5

等等。

但我如何才能获得每个组合的 Pearson 相关性并返回可能的最高 Pearson 值？

我知道会有数百万个组合，因为我运行了这个:

> length(permutations(7, 9, repeats.allowed = TRUE))
[1] 363182463

但我的权重中有 9 个不同的变量(0.25、0.5、0.75、1、1.25、1.5、2、2.5、3)和 18 个不同的分数(score_A 到 score_R)。

所以当我尝试时:

> length(permutations(9, 18, repeats.allowed = TRUE))

我收到这个错误:

Error: cannot allocate vector of size 73.7 Gb

所以我知道这个数字会非常大。

我需要将每种权重组合应用于分数，然后创建总分并计算 Pearson。

我认为包含结果的数据框或列表太大，那么有没有办法返回最佳组合？输出看起来像这样:

            score_A   score_B   score_C   pearson
weighting     0.25      0.50      0.25    0.63

我对 R 和学习还很陌生，所以我不太确定从这里到哪里去。

Answer 1

您应该意识到您正在尝试探索 9^18 排列，即:

options(scipen = 999)
9^18
# [1] 150094635296999136

探索其中的一个子集怎么样？以下代码生成 18^7 您的权重组合:

set.seed(1)
n_scores <- 18
p <- 7
aux <- matrix(sample(weightings, n_scores^p, replace = TRUE), ncol = n_scores)
# First combination
aux[1,]
 [1] 3.00 2.00 0.50 1.00 1.25 2.00 1.50 2.50 0.25 0.75 3.00 2.50 1.25 3.00
[15] 0.75 2.50 0.50 0.50

然后，您可以多次重复这种较小的探索，并查看几个最佳组合的相似性以获得一些见解。

根据@Michael 的评论进行编辑:

首先，我将您的玩具示例修改为有一个额外的行:

season <- c("2019")
round <- c("1")
team <- c("Team A", "Team B", "Team C", "Team D")
margin <- c(33, 56, 63, 50)
score_A <- c(0.330, 0.256, 0.118, 0.2)
score_B <- c(0.584, 0.176, 0.342, 0.15)
score_C <- c(0.118, 0.193, 0.286, 0.2)
df1 <- data.frame(season, round, team, score_A, score_B, score_C, margin)

然后，我生成了 9 组权重:

weightings <- c(0.25,0.5,0.75,1,1.25,1.5,2,2.5,3)
set.seed(1)
n_scores <- 3
p <- 3
aux1 <- matrix(sample(weightings, n_scores^p, replace = TRUE), ncol = n_scores)
colnames(aux1) <- c("score_A", "score_B", "score_C")

最后，我执行主要操作

aux2 <- cbind(df1$score_A, df1$score_B, df1$score_C)
df2 <- data.frame(aux1, 
                  pearson = c(cor(df1$margin, apply(aux1, 1, function(x) rowSums(t(x*t(aux2)))))))
df2
#   score_A score_B score_C    pearson
# 1    3.00    1.25    1.25 -0.8473964
# 2    1.00    1.25    1.25 -0.6385250
# 3    2.00    1.50    0.50 -0.8222945
# 4    0.25    2.00    3.00 -0.2510155
# 5    0.50    3.00    0.25 -0.6804298
# 6    2.00    1.25    1.00 -0.8025296
# 7    0.50    1.25    0.75 -0.6260844
# 8    0.75    3.00    1.50 -0.6088807
# 9    0.25    3.00    1.50 -0.5591034

根据@Michael 的第二条评论进行编辑:

如上创建aux2后，生成aux3如下。在 aux3 中，您将拥有与您正在探索的权重集数量一样多的名为 w_x 的列，而且还有来自 df1 的原始列你应该需要你的下一次计算。每个 w_x 都是分数的加权和:

aux3 <- apply(aux1, 1, function(x) rowSums(t(x*t(aux2))))
colnames(aux3) <- paste0("w_", 1:ncol(aux3))
df1 %>%
  select(season, round, team, margin) %>%
  cbind(aux3) -> aux3
aux3
#   season round   team margin     w_1     w_2    w_3    w_4     w_5    w_6
# 1   2019     1 Team A     33 1.86750 1.20750 1.5950 1.6045 1.94650 1.5080
# 2   2019     1 Team B     56 1.22925 0.71725 0.8725 0.9950 0.70425 0.9250
# 3   2019     1 Team C     63 1.13900 0.90300 0.8920 1.5715 1.15650 0.9495
# 4   2019     1 Team D     50 1.03750 0.63750 0.7250 0.9500 0.60000 0.7875
#       w_7    w_8    w_9
# 1 0.98350 2.1765 2.0115
# 2 0.49275 1.0095 0.8815
# 3 0.70100 1.5435 1.4845
# 4 0.43750 0.9000 0.8000