gpt4 book ai didi

unix - 我们可以使用EXPORT命令将hadoop数据复制到AWS S3吗?

转载 作者:行者123 更新时间:2023-12-02 20:26:22 24 4
gpt4 key购买 nike

我正在研究将Hadoop数据复制到S3。并探索了不同的选项。我知道我们可以使用EXPORT命令将文件复制到另一个群集。我们是否可以使用Export命令以相同的方式将数据和元数据复制到AWS S3?

最佳答案

第1步:创建S3存储桶

STEP2 :使用distcp实用程序将数据从hadoop平台复制到在STEP1中创建的S3存储桶。

hadoop distcp hdfs://hdfs_host:hdfs_port/hdfs_path/hdfs_file.txt s3n://s3_aws_access_key_id:s3_aws_access_key_secret@my_bucketname/

关于unix - 我们可以使用EXPORT命令将hadoop数据复制到AWS S3吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56490762/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com