gpt4 book ai didi

hadoop - 在hadoop中备份源数据文件

转载 作者:行者123 更新时间:2023-12-02 21:50:42 25 4
gpt4 key购买 nike

我希望有100个XML,Excel和定界格式的数据文件,这些文件每周都会转换为AVRO。您是否建议在文件夹备份或本地文件系统(不是HDFS)下的文件夹中以HDFS格式保存源文件的原始备份。

这些文件来自FTP。

最佳答案

转换过程成功后,由于HDFS托管了AVRO文件,因此假设您根据需要设置复制因子,它将负责备份。此时,无需将源文件保存在HDFS中。此时,最好是进行磁带备份。

关于hadoop - 在hadoop中备份源数据文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21269022/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com