gpt4 book ai didi

hadoop - 主节点在数据节点上运行是否正确?

转载 作者:行者123 更新时间:2023-12-02 20:33:44 26 4
gpt4 key购买 nike

我正在使用带有 yarn 轮廓的giraph-1.3。首先,我在ec2集群上配置了1个namenode和2个datanode。
我的应用程序正常运行,因为我在日志(和输出目录)中看到了预期的输出。我使用“-w 2”参数启动了giraph,因为我有两个datanode。

在datanode1的用户日志中,我找到了第一个工作程序的日志。
在datanode2的用户日志中,我也找到了第二个工作日志和主日志。

我希望在namenode中找到master的日志,即我希望master在namenode上运行。这样对吗?

也许我必须配置另一个数据节点,然后才能在这个新的数据节点上找到主日志?

最佳答案

我了解hadoop / giraph可以在datanode上创建容器。 Hadoop为应用程序主数据库创建一个容器,然后giraph为该主数据库创建一个容器。此外,giraph为与-w参数相对应的工作人员创建了许多容器。

关于hadoop - 主节点在数据节点上运行是否正确?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52101838/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com