hadoop - Oozie Sqoop Action

Question

我有10个sqoop命令要使用oozie执行。我应该编写sqoop操作10次，还是可以将sqoop命令放在文件中并在sqoop操作中调用它。提前致谢。

Answer 1

is it possible to put the sqoop commands in a file and call it in the sqoop action

是的，当然有可能。您可以将所有sqoop命令保存在shell文件中并执行shell操作。

但是你应该这样做吗？可能不会 。如果这些任务彼此独立，则将它们作为shell Action 执行意味着您不会利用oozie的可伸缩/并行功能，并且所有命令将一个接一个地执行。

另一方面，如果这些任务相互依赖，那么如果其中一个命令由于某种原因失败，您将如何控制执行。

在某些情况下可以并行运行一些sqoop命令，而另一些则依赖于先前命令的结果的混合情况如何？事情很快就变得复杂了吧？

由于所有这些原因，如果它们彼此独立，我认为最好将它们隔离为单独的 Action ，如果需要一次又一次地重复它们，请协调员。