gpt4 book ai didi

分布在不同子网的Hadoop Cluster(Docker + Flannel)

转载 作者:可可西里 更新时间:2023-11-01 14:49:01 25 4
gpt4 key购买 nike

我想使用 Docker 在多裸机集群中安装 Hadoop 2.3.0。我有一个主容器和一个从属容器(在第一个设置中)。当 Master 和 Slave 容器位于同一主机(因此位于同一 Flannel 子网)时,Hadoop 可以完美运行。但是,如果主节点和从节点位于不同的裸机节点(因此,不同的法兰绒子网),它根本不起作用(我收到连接被拒绝的错误)。两个容器都可以相互 ping 和 ssh,因此不存在连接问题。出于某种原因,hadoop 似乎需要集群中的所有节点都在同一个子网中。有没有办法规避这个?

谢谢

最佳答案

我认为将节点置于单独的法兰绒子网中会引入一些与 NAT 相关的规则,从而导致此类问题。

请参阅下面的链接,该链接似乎解决了类似的问题 Re: Networking Problem in creating HDFS cluster.

Hadoop 使用一堆其他端口在节点之间进行通信,上面假设这些端口是畅通的。

关于分布在不同子网的Hadoop Cluster(Docker + Flannel),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34387621/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com