oozie - Oozie HDFS 操作可以使用文件模式或 glob 吗？

Question

我可以在 Oozie 移动操作中使用通配符(例如 *)或文件模式(例如 {})吗？

我正在尝试将我的工作结果移动到存档目录中。

目录结构状态:

output
 - 201304
 - 201305
archive
 - 201303

我的行动:

<fs name="archive-files">
    <move source="hdfs://namenode/output/{201304,201305}"
          target="hdfs://namenode/archive" />
    <ok to="next"/>
    <error to="fail"/>
</fs>

结果错误:

FS006: move, source path [hdfs://namenode/output/{201304,201305}] does not exist

有没有一种简单的方法可以在 glob 或 bash 之类的语法中移动多个文件？希望做一些类似于这个 hadoop 命令的事情:

hadoop fs -mv hdfs://namenode/output/{201304,201305} hdfs://namenode/archive

我错过了什么吗？ hadoop fs 命令接受 glob。奥兹吗？

Answer 1

Oozie HDFS 操作的功能非常有限，这在 functional specification 中有完整描述。 .要做更复杂的事情，您可以使用 Shell action .它允许运行任意 shell 命令作为工作流的一部分，例如hadoop fs在你的情况下。