gpt4 book ai didi

hadoop - 如何为 hadoop 设置服务器? (CDH)

转载 作者:可可西里 更新时间:2023-11-01 17:00:36 28 4
gpt4 key购买 nike

我正在使用 AWS EC2 运行 3 个实例(m1.small -- 20GB 硬盘和 1.7GB 内存)。

集群上会有hadoop、mapReduce和几个监控进程。

我是这样拆分的:

1个主服务器

  • 名称节点
  • 次要节点
  • 工作追踪器
  • 事件监视器
  • 提醒发布者
  • 事件服务器
  • 主机监视器
  • 服务监控

2 从服务器

  • 任务追踪器
  • 数据节点

由于服务器的规范,我认为主服务器运行这 8 个作业是一种负担。我如何划分它们?是否应该另建一台服务器分配监控进程?

最佳答案

在同一台服务器上拥有 NameNode 和 SeondaryNameNode 没有任何用处。

对于 1.7 GB 内存/机器,我认为您无能为力。您需要更多节点或更高配置。 8GB/Node 我认为应该是最小值。

您也可以将一些服务分配给从节点。

关于hadoop - 如何为 hadoop 设置服务器? (CDH),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24489425/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com