hadoop - 每周从 FTP 下载文件到 HDFS

Question

我想每周将文件从 ftp 服务器自动下载到 CDH5 hadoop 集群中。执行此操作的最佳方法是什么？

我正在考虑一份 Oozie 协调员工作，但我想不出下载文件的好方法。

Answer 1

由于您使用的是 CDH5，因此值得注意的是 NFSv3 HDFS 的接口(interface)包含在该 Hadoop 发行版中。您应该在 CDH5 安装指南文档中检查“Configuring an NFSv3 Gateway”。

完成后，您可以使用 wget、curl、python 等将文件放到 NFS 挂载上。您可能想通过 Oozie 执行此操作……进入工作设计器并创建“Shell”命令的副本。输入您选择执行数据传输的命令(python 脚本、curl、ftp 等)，并使用 ${myVar} 参数化作业。

它并不完美，但我认为它相当优雅。