apache-spark - 使用 Yarn 集群设置 Apache Spark

Question

我想使用 apache spark 集成 Yarn。我已经在我的电脑上安装了 spark 、 jdk 和 scala 。我的数据保存在 Cassandra 数据库中。我还为奴隶创建了另一个服务器。

Spark 版本 - 2.1.0斯卡拉版本 - 2.9.2master(我的电脑) (IP :192...01)从服务器(IP :192...02)

Spark 和 scala 也安装在我的从属服务器上。我需要在主站或从站上安装更多东西吗？如果都安装了，那么我应该如何配置才能使用 spark 集成 YARN。

实际上，我正在使用集群管理器 (YARN) 创建一个字数统计程序。我的目标是在我的应用程序中使用 YARN。你可以给我更多的建议。请帮助..

Answer 1

• 您需要安装 Hadoop 2x 才能合并 yarn。这是 link .
• 接下来，在集群模式下使用 Yarn 启动 spark $ ./bin/spark-submit --class
path.to.your.Class --master yarn --deploy-mode cluster [options] <app
jar> [app options] .可以引用here