hadoop - 将工件部署到 Hadoop 集群

Question

是否有任何模式可以将应用程序(jar 文件)部署到 Hadoop-Custer？我不是在谈论 map-reduce 作业，而是为 Spark、Flume 等部署应用程序。

仅在 Hadoop 生态系统中部署是不够的。您需要重启服务、部署配置(例如通过 Ambari)等等。

我还没有找到任何特定的工具。我假设您使用标准自动化工具(例如 maven/jenkins)并自己完成缺失的部分是否正确？

只是想知道我是否监督了什么。只是不想重新发明轮子；)

Answer 1

如果您正在管理 Hadoop 生态系统，您可以使用 Ambari 和 Cloudera 的管理器。但是您需要停止并重新启动他们的服务以进行配置和库更改。如果生态系统在此之外进行管理，那么您可以选择使用 Puppet 和 Salt 等外部工具来管理 jar。目前，由于推/拉功能，我们使用 Salt。

如果您谈论的是应用程序，例如在 Spark 上运行的作业，您只需在文件路径中提供 Hadoop URL。例如: Spark 提交 --class my.dev.org.SparkDriver --properties-file mySparkProps.conf wordcount-shaded.jar hdfs://servername/input/file/sample.txt hdfs://servername/output/sparkresults

适用于依赖第三方 jar 文件的应用程序。然后您就可以选择对作业的 jar 文件进行着色，以防止其他应用程序库相互干扰。缺点是应用程序 jar 文件会变大。我使用 maven，所以我添加了 maven-shade-plugin 工件并对依赖项使用默认范围(编译)。