r - 使用 mutate_each 在sparklyr中缩放和居中变量

Question

我正在解决 sparklyr 中的集群问题。训练集中的许多变量是在不同的尺度上测量的，因此存在数量级的差异。根据最佳实践，我正在尝试扩展和集中数据。

有许多不同的公式可以做到这一点，最传统的是 (X - µ)/σ，其中 X 是随机变量，µ= 平均值，σ= 标准差。我还倾向于使用 (X - x)/(x_max - x_min)，其中 X= 随机变量，x=样本平均值，x_max= 最大值，x_min = 最小值。

使用 dplyr 应用此转换后，我得到了一个奇怪的结果。考虑这个例子:

    #connect to spark
    library(sparklyr)
    library(SparkR)
    library(dplyr)
    sc = spark_connect(master = 'yarn-client',
                       spark_home = '/usr/hdp/current/spark-client',
                       app_name = 'sparklyr'
                       # config = list(
                       #   "sparklyr.shell.executor-memory" = "XG",
                       #   "sparklyr.shell.driver-memory"   = "XG",
                       #   "spark.driver.maxResultSize"     = "XG" # may need to transfer a lot of data into R 
    )

    sparkR.init()

#create a dataframe where variables in the dataset differ by an order of magnitude
mat <- as.data.frame(matrix(data = rnorm(200, mean=100,sd=10), nrow = 1000, ncol = 50))
mat1 <- as.data.frame(matrix(data = rnorm(200, mean=0,sd=1), nrow = 1000, ncol = 50))
colnames(mat1) <- paste('X',1:50,sep='')
mat.final <- cbind(mat,mat1)

#copy to Spark
dat.out <- sdf_copy_to(sc,mat.final,'dat',overwrite=TRUE)

#define centering and scaling function
scale.center <- function(x){
  (x-mean(x,na.rm=TRUE)) /(max(x,na.rm = TRUE)-min(x,na.rm = TRUE))
}

#scale data
dat.out1 <- 
  dat.out %>%
  mutate_each(funs(s=scale.center))

代码运行了，但我得到了一些奇怪的东西:

str(dat.out1)

$ ops:List of 4
  ..$ name: chr "mutate"
  ..$ x   :List of 4
  .. ..$ name: chr "mutate"
  .. ..$ x   :List of 4
  .. .. ..$ name: chr "mutate"
  .. .. ..$ x   :List of 4
  .. .. .. ..$ name: chr "mutate"
  .. .. .. ..$ x   :List of 4
  .. .. .. .. ..$ name: chr "mutate"
  .. .. .. .. ..$ x   :List of 4
  .. .. .. .. .. ..$ name: chr "mutate"
  .. .. .. .. .. ..$ x   :List of 4
  .. .. .. .. .. .. ..$ name: chr "mutate"
  .. .. .. .. .. .. ..$ x   :List of 4
  .. .. .. .. .. .. .. ..$ name: chr "mutate"
  .. .. .. .. .. .. .. ..$ x   :List of 4
  .. .. .. .. .. .. .. .. ..$ name: chr "mutate"
  .. .. .. .. .. .. .. .. ..$ x   :List of 4
  .. .. .. .. .. .. .. .. .. ..$ name: chr "mutate"
  .. .. .. .. .. .. .. .. .. ..$ x   :List of 4
  .. .. .. .. .. .. .. .. .. .. ..$ name: chr "mutate"
  .. ..

以上只是运行str后输出的一部分。思考这里出了什么问题。我很惊讶没有内置的居中和缩放功能。

Answer 1

Thoughts on what's going wrong here.

这本质上与Sparklyr: how to center a Spark table based on column?中描述的问题相同。 - mutate 中使用的聚合函数扩展到全局(没有 PARTITION BY 子句)窗口函数，使得这种方法在实践中完全无用。

I'm surprised there isn't a build in function for centering and scaling.

嗯，一般来说，Spark 使用 ML Transformers 进行操作，其中一堆已移植到 sparklyr。这些可以通过 ft_ 前缀来区分。不幸的是StandardScaler和 MinMaxScaler尚未移植。不过，实现自己的界面并不难。

如果您想要一个可以按原样处理数据的快速方法:

library(rlang)
library(glue)

# Compute all the stats at once
stats <- dat.out %>% summarise_all(funs(avg, min, max)) %>% collect()

# Separate stats into components
cols <- dat.out %>% colnames()
avgs <- stats %>% select(ends_with("avg")) %>% unlist
mins <- stats %>% select(ends_with("min")) %>% unlist
maxs <- stats %>% select(ends_with("max")) %>% unlist

# Create expressions
exprs <- glue("({cols} - {avgs}) / ({maxs} - {mins})") %>% 
  setNames(cols) %>%
  lapply(parse_quosure)

dat.out %>% mutate(!!! exprs)

积分再次转到Artem Sokolov (dplyr 0.7 equivalent for deprecated mutate_)。

注意:

请勿将 . 与要与 sparklyr 一起使用的函数一起使用。 dplyr 将尝试将这些作为“前缀”数据库中的数据库函数进行匹配，但会失败或产生意外的结果。