hadoop - 使用修改后的hadoop配置文件运行oozie作业以支持S3到HDFS

Question

您好，我正在尝试使用cp命令将S3存储桶中的文件复制到HDFS中。
我做类似的事情
Hadoop --config配置fs -cp s3a:// path hadooppath
当我的配置位于本地时，此方法效果很好。
但是现在我正试图将其设置为一项笨拙的工作。因此，当我现在无法传递本地系统中config目录中的配置文件时。即使在HDFS中，它似乎也不起作用。有什么建议么 ？

我在Hadoop中尝试了-D命令并传递了名称和值对，但仍然会引发一些错误。它只能在我的本地系统上工作。

Answer 1

您在oozie中尝试过 DISTCP 吗？ Hadoop 2.7.2将支持S3数据源。您可以由协调员安排它。只需将凭据解析为RESTAPI或属性文件中的协调器即可。定期复制数据的简单方法(计划的方式)。

${HADOOP_HOME}/bin/hadoop distcp s3://<source>/ hdfs://<destination>/