gpt4 book ai didi

configuration - 在 ec2 上手动配置 hadoop

转载 作者:可可西里 更新时间:2023-11-01 15:40:30 26 4
gpt4 key购买 nike

谁能给我指出任何资源的方向,这些资源可以帮助我在 EC2 上手动设置/配置 Hadoop (1.0.4)。我同意有很多资源可以使用工具、服务等来完成这项工作,但我正在寻找的是一些帮助,以确定对 conf/*.xml 文件进行哪些修改手动 slaves 和 master 都是为了让 Hadoop 正常工作。

现在,我有 5 个 ec2 实例在运行,它们都能够在伪分布式模式下单独运行 hadoop 作业。所以,我需要通过配置conf文件的方式,将一个变成master,其余的变成slave,让slave知道namenode和jobtracker在哪里,而master知道所有的slave。

我的理解是,我还必须配置实例的 EC2 安全组,以便它们都可以在正确的端口上相互通信。我想我可以接受。

任何人都可以帮助我完成配置部分,或者指出一些可能有用的东西吗?

最佳答案

我在这里找到了这个详尽的教程,它最终让我开始运行:http://cloudblog.8kmiles.com/2011/12/05/hadoop-fully-distributed-setup/

关于configuration - 在 ec2 上手动配置 hadoop,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15931458/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com