shell - 如何使用 Shell 脚本修改 job.properties 文件并运行 Oozie 脚本？

Question

我有一个 Oozie 工作流程，本质上是

1. Sqoops from Oracle to HDFS
2. Runs MapReduce on the Data
3...

我希望能够运行一个 shell 脚本来传递一个用于 Sqoop 操作的 where 子句。

./run.sh "birth_date < TO_DATE(...)"

我希望将参数传递给配置 Oozie Sqoop 参数的 job.properties 文件，该参数传递给工作流。

执行此操作的最佳方法是什么？

Answer 1

如果我没理解错的话，你可以有一个 job.properties_template 文件，其中有一行

sqoop-where-arg=WHERE_PLACEHOLDER

然后在您的 run.sh 脚本中，您只需替换占位符并生成实际的 job.properties 文件:

sed "s/WHERE_PLACEHOLDER/$1/" < job.properties_template > job.properties

然后您可以使用新生成的 job.properties 文件运行 Oozie 工作流。

它能回答您的问题吗？