java - 通过 Web 应用程序将 Apache spark 与 HDinsight 集群结合使用

Question

我目前正在尝试使用 Apache spark 创建一个大数据处理 Web 应用程序，该应用程序已成功安装在我的 HDinsight 集群上。我过去用 C# 编写了连接到我的集群的 Mapreduce 程序，并且能够运行我通过输入我的帐户名、存储 key 等来连接到我的集群的应用程序......似乎使用 apache spark 提交作业的唯一方法是使用 RDP 连接到您的集群，但是我无法将其合并到 Web 应用程序中(很容易。我是处理集群/大数据的新手)。是否可以以与运行 mapreduce 作业时类似的方式连接到我的集群？

我还在想也许可以在 mapreduce 中编写这个，我已经在我的集群的上下文中。这有可能以任何方式吗？

Answer 1

如果您通过脚本操作安装 Spark，则 Spark 特定端口无法在集群外部打开。不过，您可以通过 VNet 使用 Spark。如果您在端点和集群之间设置 VNET，则可以使用 native spark 协议(protocol)进行远程作业提交/查询。也可以使用 Oozie

您还可以使用新发布的预览版 Spark 集群和 C# 作业提交进行调查。