r - 用 SVD 矩阵预测

Question

我正在参加编程竞赛，我的数据中第一列是用户，第二列是电影，第三列是十分制评分系统中的数字。

0 0 9
0 1 8
1 1 4
1 2 6
2 2 7

我必须预测第三列(用户、电影、？):

0 2
1 0
2 0
2 1

我也知道答案:

0 2 7.052009
1 0 6.687943
2 0 6.995272
2 1 6.687943

表格中的数据:行是用户 0、1 和 2；列是电影 0、1 和 2；单元格是分数，0 未投票:

     [,1] [,2] [,3]
[1,]    9    8    0
[2,]    0    4    6
[3,]    0    0    7

我使用 R 语言获取 SVD:

$d
[1] 12.514311  9.197763  2.189331

$u
          [,1]       [,2]       [,3]
[1,] 0.9318434 -0.3240669  0.1632436
[2,] 0.3380257  0.6116879 -0.7152458
[3,] 0.1319333  0.7216776  0.6795403

$v
          [,1]        [,2]       [,3]
[1,] 0.6701600 -0.31709904  0.6710691
[2,] 0.7037423 -0.01584988 -0.7102785
[3,] 0.2358650  0.94825998  0.2125341

转置 v 是:

          [,1]        [,2]       [,3]
[1,]  0.6701600   0.7037423   0.2358650
[2,] -0.31709904 -0.01584988  0.94825998
[3,]  0.6710691  -0.7102785   0.2125341

我读到过使用这个公式预测电影评级:

但我不明白如何预测这样的收视率:

0 2 7.052009
1 0 6.687943
2 0 6.995272
2 1 6.687943

对于此数据:

0 2
1 0
2 0
2 1

Answer 1

在我看来，您的示例有几处不正确。首先，当您没有针对特定用户/电影组合的排名时，您不应将其填入零。这会告诉 SVD 或任何其他类型的主成分分析 (PCA)，这些是等级(人为降低)。此外，使用零填充数据计算的协方差将基于不正确的观察数计算。

使用 SVD 方法的 Netflix 获奖者 (link for more info) 也一定使用了某种缺失数据 PCA 例程。在那种情况下，非值不应为零，而应为 NaN，尽管我还没有看到他们使用的实际方法的细节。

我的第二个问题是，您提供的“答案”是否真的基于您在示例中提供的相当小的数据集。给定 3 个用户乘以 3 部电影数据集，用于计算用户之间相关性的位置非常少，因此任何预测都会很差。尽管如此，我还是能够得出一个结果，但它与您预期的答案不符。

该方法称为“递归减去经验正交函数”(RSEOF)，它是专门设计用于处理缺失数据的 PCA 方法。也就是说，如果没有更大的训练数据集，我对预测没有太大信心。

因此，我首先加载您的原始数据集和预测数据集，并使用 reshape2 包中的 acast 将训练数据 reshape 为矩阵:

library(reshape2)
library(sinkr) (download from GitHub: https://github.com/menugget/sinkr)

# Original data
df1 <- data.frame(user=factor(c(0,0,1,1,2)), movie=factor(c(0,1,1,2,2)), rank=c(9,8,4,6,7))
df1

# Data to predict
df2 <-data.frame(user=factor(c(0,1,2,2)), movie=factor(c(2,0,0,1)))
df2

# Re-organize data into matrix(movies=rows, users=columns)
m1 <- acast(df1, movie ~ user, fill=NaN)
m1

然后使用 sinkr 包 ( link ) 的 eof 函数，我们执行 RSEOF:

# PCA of m1 (using recursive SVD)
E <- eof(m1, method="svd", recursive=TRUE, center=FALSE, scale=FALSE)
E$u
E$A #(like "v" but with Lambda units added)
E$Lambda

数据中 NaN 位置的预测值可以通过使用 PCA 信息重建完整矩阵来获得(基本上 E$A %*% t(E$u)):

# Reconstruct full m1 matrix using PCs
R <- eofRecon(E)
R

# Add predicted ranks to df2
pos <- (as.numeric(df2$user)-1)*length(levels(df1$movie)) + as.numeric(df2$movie)
pos
df2$rank <- R[pos]
df2

对象 df2 包含您在预测数据集中指定的用户/电影组合的特定预测排名:

  user movie     rank
1    0     2 9.246148
2    1     0 7.535567
3    2     0 6.292984
4    2     1 5.661985

我个人认为这些值比您的预期结果(都在 7 左右)更有意义。例如，当按用户(列)查看电影矩阵(行)时，m1,

    0   1   2
0   9 NaN NaN
1   8   4 NaN
2 NaN   6   7

鉴于这是用户“1”的趋势，我预计用户“0”比电影“1”更喜欢电影“2”。我们只有电影“1”的排名是它们之间的共同点，以此作为我们预测的基础。您的预期值为 7.05，低于电影“1”(即 8)，而 RSEOF 预测值为 9.2。

我希望这对您有所帮助 - 但是，如果您的预期答案是您所追求的，那么我会对“真相持有者”使用的方法产生怀疑。您更有可能只是提供了数据集的较小版本，因此我们不会得出与较小的可重现示例中相同的答案。