java - Hadoop 生成多个 VM

Question

当我使用 bin/start-all.sh 脚本启动 hadoop 时，它似乎为名称节点、数据节点、作业跟踪器和任务跟踪器启动了不同的 JVM。

此外，当我开始一项工作时，它似乎为每个工作创建了另一个 JVM。

hadoop 这样做有什么具体原因吗？我知道这在多节点集群环境中是必要的，但即使在单节点集群中也是如此。

有没有一种方法可以指定在同一 JVM 下运行所有​​内容的任何配置参数？

Answer 1

我还没有读到任何具体说明他们为什么这样做的内容，但是对于多个 JVM，您可能会使用更多的物理 RAM(取决于操作系统)。你也会得到一些隔离。所以，如果你想改变一个组件的配置方式，你只需要重新启动那个组件。并不是说那一定是一个巨大的好处。此外，从实现的角度来看，以相同的方式执行它可能更简单，并且不同的设置没有不同的逻辑。

OTOH，为什么不生成多个 JVM？