gpt4 book ai didi

hadoop - hdfs或hadoop命令在本地到hdfs之间同步文件或文件夹

转载 作者:行者123 更新时间:2023-12-02 19:55:49 25 4
gpt4 key购买 nike

我有一个每天都会添加的本地文件,因此我想将这些新添加的文件同步到hdfs。

我在下面的命令中尝试过,但是所有命令都是完整副本,我想要一些仅复制新添加文件的命令

$ hdfs dfs -cp /home/user/files/* /data/files/*

最佳答案

您可以使用hsync。
https://github.com/alexholmes/hsync

它的Alex的自定义包可能对开发人员有用,但可能很难在生产环境中部署。我正在寻找类似的解决方案,但目前看来,这是最接近的。另一种选择是编写自己的Shell脚本以比较源/目标文件的时间,然后仅覆盖较新的文件。

关于hadoop - hdfs或hadoop命令在本地到hdfs之间同步文件或文件夹,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52584100/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com