gpt4 book ai didi

python-3.x - 如何使用python使用hdfs3 lib上传HDFS上的本地文件

转载 作者:行者123 更新时间:2023-12-02 20:37:57 26 4
gpt4 key购买 nike

我正在尝试使用 python 脚本在 HDFS 上上传本地文件。现在,我有 Hue(用户名和密码),我的 IP 地址。我想使用 python 中的 hdfs3 lib。我基本上知道如何自动化这个过程。我可以使用 Hue(运行一些查询)找到我打算在 HDFS 上上传的位置。

我的问题是在哪里可以找到此主机、端口信息并连接到 HDFS。

from hdfs3 import HDFileSystem

hdfs = HDFileSystem(host=***, port=***)

最佳答案

这些将是名称节点地址和端口。

向您的集群管理员询问该信息。或者,如果您是 Hue 管理员,则可以从“配置”页面获取该信息

注意:您也可以支付给 hdfs dfs -put如果它与 python 脚本在同一台机器上工作

关于python-3.x - 如何使用python使用hdfs3 lib上传HDFS上的本地文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50536268/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com