gpt4 book ai didi

hadoop - 配置 hadoop-client 以连接到其他机器/服务器中的 hadoop

转载 作者:可可西里 更新时间:2023-11-01 16:38:12 25 4
gpt4 key购买 nike

在服务器 A 上,我有用于在 hadoop 上执行任务的 hadoop 和 python 脚本。在服务器 B 上,我有配置单元/hadoop。是否可以在服务器A上配置hadoop-client连接到服务器B上的hadoop?

最佳答案

不清楚您使用的是什么 Python 库,但假设是 PySpark,您可以在客户端计算机上复制或配置 HADOOP_CONF_DIR,它可以与任何外部 Hadoop 系统通信。

至少,您需要配置一个 core-site.xml 来与 HDFS 通信,并配置一个 hive-site.xml 来与 Hive 通信。

如果您使用 PyHive library ,您只需连接到 user@hiveserver2:1000

关于hadoop - 配置 hadoop-client 以连接到其他机器/服务器中的 hadoop,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47454517/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com