gpt4 book ai didi

hadoop - 我无法从 Hadoop 客户端连接到 Hadoop 服务器

转载 作者:可可西里 更新时间:2023-11-01 15:03:48 26 4
gpt4 key购买 nike

Hadoop 服务器在 Kubernetes 中。而Hadoop客户端位于外网。所以我尝试使用 kubernetes-service 来使用 Hadoop 服务器。但是 hadoop fs -put 不适用于 Hadoop 客户端。据我所知,名称节点将数据节点 IP 提供给 Hadoop 客户端。如果是,namenode从哪里获取IP?

最佳答案

你可以查看我的other answer . HDFS 尚未在 K8s 中投入生产(截至撰写本文时)

namenode 为客户端提供数据节点的 IP 地址,并且当它们加入集群时它知道这些地址,如下所示:

datanodes

K8s 中的问题是您必须将每个数据节点公开为服务或外部 IP,但名称节点会看到数据节点及其 pod IP 地址,这些地址对外界不可用。此外,HDFS 不提供 publish IP for each datanode config您可以在其中强制使用服务 IP,因此您必须进行花哨的自定义网络,或者您的客户端必须位于 podCidr 内(这违背了 HDFS 作为分布式文件系统的目的)。

关于hadoop - 我无法从 Hadoop 客户端连接到 Hadoop 服务器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53156162/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com