r - 在 SparkR 中使用 CRAN 包

Question

如果我想在 SparkR 中使用像 MXNet 这样的标准 R 包，这可能吗？是否可以在 Spark 分布式环境中使用标准 CRAN 包而不考虑本地与 Spark Dataframe。在 R 和 Spark 中处理大型数据集的策略是使用 Spark 数据帧，削减数据帧，然后将其转换为本地数据帧以使用标准 CRAN 包吗？还有其他我不知道的策略吗？

谢谢

Answer 1

Can standard CRAN packages be used inside the Spark distributed environment without considering a local vs a Spark Dataframe.

不，他们不能。

Is the strategy in working with large data sets in R and Spark to use a Spark dataframe, whittle down the Dataframe and then convert it to a local data.frame.

可悲的是，大多数时候你就是这样做的。

Is there another strategy that I'm not aware of ?

Spark 2.0 中的

dapply 和 gapply 函数可以将任意 R 代码应用于分区或组。