r - 将 sparklyr 连接到远程 spark 连接

Question

我想通过 sparklyr 将我的本地桌面 RStudio session 连接到远程 spark session 。当您在 RStudio 的 sparklyr ui 选项卡中添加新连接并选择集群时，表示您必须在集群上运行，或者与集群有高带宽连接。

谁能阐明如何建立这种联系？我不确定如何创建可重现的示例，但总的来说我想做的是:

library(sparklyr)
sc <- spark_connect(master = "spark://ip-[MY_PRIVATE_IP]:7077", spark_home = "/home/ubuntu/spark-2.0.0", version="2.0.0")

从远程服务器。我知道会有延迟，尤其是在尝试在 Remote 之间传递数据时。我也明白，将 rstudio-server 放在实际的集群上会更好——但这并不总是可能的，我正在寻找一个 sparklyr 选项来在我的服务器和我的桌面 RStudio session 之间进行交互。谢谢。

Answer 1

截至sparklyr版本 0.4 ，不支持从 RStudio 桌面连接到远程 Spark 集群。相反，正如您所提到的，推荐的方法是在 Spark 集群中安装 RStudio Server。

也就是说，livy branch in sparklyr 正在探索与 Livy 的集成，这将使 RStudio 桌面能够通过 Livy 连接到远程 Spark 集群。