gpt4 book ai didi

java - java hdfs客户端是否需要有core-site.xml和hdfs-site.xml才能连接?

转载 作者:行者123 更新时间:2023-12-02 09:43:26 29 4
gpt4 key购买 nike

我使用 HttpClient 从 Hadoop 服务器下载文件。

但其他人说这不利于安全,因为它不需要输入用户 ID。所以我必须将其更改为webhdfs或hdfs。

我必须连接 Hadoop,但它不是我的。

所以我不知道它的所有配置。

他们告诉我唯一的用户名、一些 IP 地址和端口。

但是java程序中的hdfs客户端需要很多配置。

hdfs 客户端是否需要 core-site.xml 和 hdfs-site.xml 进行配置?

或者我有其他方法可以解决这个问题吗?

最佳答案

为了与 HDFS 正确通信,客户端需要了解配置参数。这就是这两个文件的全部内容,客户端需要这两个文件的配置。正如它所说的here :

The core-site.xml file informs Hadoop daemon where NameNode runs in the cluster. It contains the configuration settings for Hadoop Core such as I/O settings that are common to HDFS and MapReduce.

The hdfs-site.xml file contains the configuration settings for HDFS daemons; the NameNode, the Secondary NameNode, and the DataNodes.

但是在Java代码中,所有配置(无论来自哪个文件)都由org.apache.hadoop.conf.Configuration。因此,您可以将所有内容放在一个 Configuration 对象中。

希望这能回答您的问题。

关于java - java hdfs客户端是否需要有core-site.xml和hdfs-site.xml才能连接?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56862120/

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com