hadoop - 我无法从 Hadoop 客户端连接到 Hadoop 服务器

Question

Hadoop 服务器在 Kubernetes 中。而Hadoop客户端位于外网。所以我尝试使用 kubernetes-service 来使用 Hadoop 服务器。但是 hadoop fs -put 不适用于 Hadoop 客户端。据我所知，名称节点将数据节点 IP 提供给 Hadoop 客户端。如果是，namenode从哪里获取IP？

Answer 1

你可以查看我的other answer . HDFS 尚未在 K8s 中投入生产(截至撰写本文时)

namenode 为客户端提供数据节点的 IP 地址，并且当它们加入集群时它知道这些地址，如下所示:

K8s 中的问题是您必须将每个数据节点公开为服务或外部 IP，但名称节点会看到数据节点及其 pod IP 地址，这些地址对外界不可用。此外，HDFS 不提供 publish IP for each datanode config您可以在其中强制使用服务 IP，因此您必须进行花哨的自定义网络，或者您的客户端必须位于 podCidr 内(这违背了 HDFS 作为分布式文件系统的目的)。