hdfs - 如何使用oozie将文件从本地移动到HDFS？

Question

我正在尝试将数据从本地文件系统移动到 Hadoop 分布式文件系统，但我无法通过 oozie 将其移动我们可以使用 oozie 将数据从本地文件系统移动或复制到 HDFS 吗？？？

Answer 1

我找到了解决此问题的方法。 ssh 操作将始终从 Oozie 服务器执行。因此，如果您的文件位于 Oozie 服务器的本地文件系统上，您将能够将它们复制到 HDFS。ssh 操作将始终由“oozie”用户执行。因此，您的 ssh 操作应如下所示:myUser@oozie-server-ip，其中 myUser 是对 Oozie 服务器中的文件具有读取权限的用户。接下来，您需要在 Oozie 服务器上的 oozie 用户和 myUser 之间设置无密码 ssh。为“oozie”用户生成公钥，并将生成的 key 复制到“myUser”的authorized_keys 文件中。这是生成 rsa key 的命令:

ssh-keygen -t rsa

生成 key 时，需要使用oozie用户登录。通常在 Hadoop 集群上，该用户的主目录位于/var/lib/oozie，并且公钥将在/var/lib/oozie/.ssh 中的 id_rsa.pub 中生成接下来将此 key 复制到“myUser”的authorized_keys 文件中。您可以在用户主目录的 .ssh 文件夹中找到它。现在您已经设置了无密码 ssh，是时候设置 ssh oozie 操作了。此操作将执行命令“hadoop”，并将参数“-copyFromLocal”、“${local_file_path}”和“${hdfs_file_path}”作为参数。