r - Sparklyr 可以与部署在 yarn 管理的 hadoop 集群上的 Spark 一起使用吗？

Question

是 sparklyr R package能够连接到 YARN 管理的 hadoop 集群吗？这似乎没有记录在 cluster deployment 中文档。使用 Spark 附带的 SparkR 包，可以执行以下操作:

# set R environment variables
Sys.setenv(YARN_CONF_DIR=...)
Sys.setenv(SPARK_CONF_DIR=...)
Sys.setenv(LD_LIBRARY_PATH=...)
Sys.setenv(SPARKR_SUBMIT_ARGS=...)

spark_lib_dir <- ... # install specific
library(SparkR, lib.loc = c(sparkr_lib_dir, .libPaths()))
sc <- sparkR.init(master = "yarn-client")

但是当我用

交换上面的最后一行时

library(sparklyr)
sc <- spark_connect(master = "yarn-client")

我收到错误:

Error in start_shell(scon, list(), jars, packages) : 
  Failed to launch Spark shell. Ports file does not exist.
    Path: /usr/hdp/2.4.2.0-258/spark/bin/spark-submit
    Parameters: '--packages' 'com.databricks:spark-csv_2.11:1.3.0,com.amazonaws:aws-java-sdk-pom:1.10.34' '--jars' '<path to R lib>/3.2/sparklyr/java/rspark_utils.jar'  sparkr-shell /tmp/RtmpT31OQT/filecfb07d7f8bfd.out

Ivy Default Cache set to: /home/mpollock/.ivy2/cache
The jars for the packages stored in: /home/mpollock/.ivy2/jars
:: loading settings :: url = jar:file:<path to spark install>/lib/spark-assembly-1.6.1.2.4.2.0-258-hadoop2.7.1.2.4.2.0-258.jar!/org/apache/ivy/core/settings/ivysettings.xml
com.databricks#spark-csv_2.11 added as a dependency
com.amazonaws#aws-java-sdk-pom added as a dependency
:: resolving dependencies :: org.apache.spark#spark-submit-parent;1.0
    confs: [default]
:: resolution report :: resolve 480ms :: artifacts dl 0ms
    :: modules in use:
    -----------------------------------------

sparklyr 是 SparkR 的替代品还是构建在 SparkR 包之上？

Answer 1

是的，sparklyr 可以用于 yarn 管理的集群。为了连接到 yarn 管理的集群，需要:

1. 设置 SPARK_HOME 环境变量以指向正确的 Spark 主目录。
2. 使用适当的主位置连接到 Spark 集群，例如:sc <- spark_connect(master = "yarn-client")

另请参阅:http://spark.rstudio.com/deployment.html