r - SparkR 与 sparklyr

Question

关闭。这个问题需要更多focused .它目前不接受答案。












想改善这个问题吗？更新问题，使其仅关注一个问题 editing this post .

3年前关闭。




Improve this question




有人对 SparkR 与 sparklyr 的优缺点有一个概述吗？谷歌没有产生任何令人满意的结果，两者似乎相当相似。两者都尝试一下，SparkR 看起来要麻烦得多，而 sparklyr 非常简单(安装和使用，尤其是 dplyr 输入)。 sparklyr 只能用于并行运行 dplyr 函数还是“普通”R 代码？

最好的事物

Answer 1

SparkR 的最大优势是能够在 Spark 上运行用 R 编写的任意用户定义函数:

https://spark.apache.org/docs/2.0.1/sparkr.html#applying-user-defined-function

由于 sparklyr 将 R 转换为 SQL，因此您只能在 mutate 中使用非常小的函数集。声明:

http://spark.rstudio.com/dplyr.html#sql_translation

扩展( http://spark.rstudio.com/extensions.html#wrapper_functions )在一定程度上缓解了这种不足。

除此之外，sparklyr 是赢家(在我看来)。除了使用熟悉的明显优势dplyr功能，sparklyr 为 MLlib ( http://spark.rstudio.com/mllib.html ) 和上述扩展提供了更全面的 API。