hadoop - 如何在不重启hadoop集群的情况下将jar添加到类路径中并生效？

Question

我写了一些引用一些外部 jar 的 mapreduce 作业。所以我将它们添加到“正在运行的”集群的 CLASSPATH 中以运行作业。

一旦我尝试运行它们，我就得到类未找到异常。我用谷歌搜索了修复它的方法，我发现我需要重新启动集群才能应用更改后的 CLASSPATH，它确实有效。

哦，糟糕!每次我将新的 jar 添加到 CLASSPATH 时，我真的需要重新启动集群吗？我认为这没有道理。

有谁知道如何在不重启的情况下应用更改？

---

我想我需要添加一些细节来征求您的意见。

我编写了一个自定义的 hbase 过滤器类并将其打包在一个 jar 中。我编写了一个使用自定义过滤器类的 mapreduce 作业并将其打包在另一个 jar 中。因为过滤器类 jar 不在我“正在运行的”集群的类路径中，所以我添加了它。但是在我重新启动集群之前，我无法成功运行该作业。

当然，我知道我可以将过滤器类和作业打包在一个 jar 里。但我不是那个意思。我很好奇，如果我需要添加新的外部 jar，我应该再次重新启动集群吗？

Answer 1

查看 Cloudera article包括作业所需的第 3 方库。选项 (1) 和 (2) 不需要重启集群。