networking - Cloudera Hadoop 在 EC2 上使用 Vagrant - 如何设置主机、IP 和网络？

Question

我使用自己制作的 Vagrant 配置脚本在我提供的本地 VirtualBox 中安装 Cloudera 集群。提供者在这里:

https://github.com/theclue/cdh5-vagrant

在我的本地环境中一切正常，但现在我面临着如何添加 EC2 提供商的问题。由于供应商烘焙了一个大量手动调整的 Cloudera 集群，因此使用 Whirr 完成任务没有任何意义。我会尽量坚持我心爱的 Vagrant。

网络问题。集群的每个节点在子网 10.10.50.* 中共享一个私有(private) IP - 这确保节点可以相互通信并且不能从外部访问。

然后，我将这些私有(private) IP 硬编码到每个节点的/etc/hosts 文件中。每个节点的文件都相同，类似于:

10.10.50.5 cdh-master10.10.50.6 cdh-node110.10.50.7 cdh-node2

在配置阶段编辑的所有 hadoop 配置文件中，我都使用了 FQHN。

此外，主节点有第二个网络接口(interface)桥接到我在 DHCP 中的真实 LAN，所以有一个公共(public) ip，形式为 192.168.1.*这是我的虚拟集群的外部世界的大门。

但是当我构建 EC2 实例时，我事先既不知道 IP 也不知道 FQHN，而且我认为我无法将机器设置为具有私有(private)网络接口(interface)。

在这种情况下设置网络命名的最佳方式是什么？

Answer 1

EC2 实例可以使用实例元数据服务 (curl -s http://169.254.165.254/latest/meta-data/local-ipv4) 检查自己的 IP，您可以设置私有(private)网络接口(interface) (ENI)。另一种方法是使用标签和 AWS CLI 来查询您的集群配置。

为避免所有这些复杂性，请考虑使用 AWS Elastic Map Reduce 来配置您的 hadoop 集群。

见:

http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/AESDG-chapter-instancedata.html http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-eni.html https://aws.amazon.com/elasticmapreduce/