hadoop - 如何使用Oozie将远程文件复制到HDFS？

Question

我必须将远程文件复制到HDFS中。我想使用Oozie，因为我需要每天在特定时间执行此工作。

Answer 1

Oozie可以帮助您创建工作流程。使用oozie，您可以调用能够将文件从源文件复制到HDFS的外部操作，但是oozie不会自动执行该操作。

这里有一些建议:

使用自定义程序将文件写入hdfs，例如使用SequenceFile.Writer。

Flume可能会有所帮助。

使用诸如camel-hdfs的集成组件将文件移动到hdfs。

将

ftp文件复制到hdfs节点，然后从本地磁盘复制到hdfs。

研究更多可能适合您的情况的选项。