gpt4 book ai didi

hadoop - 有没有办法在HDFS上快速上传数据?

转载 作者:行者123 更新时间:2023-12-02 21:11:45 25 4
gpt4 key购买 nike

我正在尝试在HDFS上上传大小为5G的4K文件(大约),以进行处理。我正在使用命令的方式来做到这一点:

遍历每个文件-

hadoop fs -copyFromLocal "LocalPath" "HDFSPath"



这需要很多时间。有更快的方法吗?块大小在这里重要吗?

提前致谢。

最佳答案

您可以使用后台命令并行上传文件,方法是根据集群配置将4k文件分成几组。

关于hadoop - 有没有办法在HDFS上快速上传数据?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40077143/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com