使用 SparkR 运行 R 模型

Question

预先感谢您的意见。我是 ML 的新手。
我已经开发了一个 R 模型(在我的本地使用 R studio)并希望部署在安装了 R Studio 的 hadoop 集群上。我想使用 SparkR 来利用高性能计算。 我只是想了解一下 SparkR 在这里的作用。

SparkR 会让 R 模型在 Hadoop 集群上的 Spark ML 中运行算法吗？

或者

SparkR 是否仅启用数据处理，而 ML 算法仍将在 Hadoop 集群上的 R 上下文中运行？

感谢您的投入。

Answer 1

这些都是一般性的问题，但它们实际上有一个非常简单直接的答案:否 (二者皆是); SparkR 两者都不会。

来自 SparkR docs 的概述部分:

SparkR is an R package that provides a light-weight frontend to use Apache Spark from R.

SparkR 甚至无法读取原生 R 模型。

将 SparkR 用于 ML 任务背后的想法是您专门在 SparkR 中开发您的模型(如果您尝试，您还会发现它更多 limited 与通过各种包在 R 中可用的过多模型相比)。

甚至像 confusionMatrix 这样的便利设施来自 caret包，不可用，因为它们在 R 数据帧上运行，而不是在 Spark 数据帧上运行(参见 this question & answer)。