hadoop - oozie工作流程的最大限制

Question

有谁知道可以并行执行的oozie工作流程的最大限制是多少？

我正在并行运行35个工作流(或者oozie UI提到它们都是并行开始的)。所有子工作流都执行从本地文件到HDFS的文件提取，并且此后对文件的元数据进行一些验证检查。就那么简单。

但是，我看到一些子工作流在执行过程中失败了。他们失败的步骤将尝试将文件放入HDFS位置，即该进程无法执行hdfs dfs -put命令。但是，当我重新运行这些子工作流时，它们将成功运行。

不知道是什么原因导致他们执行hdfs dfs -put并失败。

关于可能发生的事情的任何线索/建议？

Answer 1

第一个限制并不取决于Oozie，而是取决于YARN中可用于执行Oozie Action 的资源，因为每个 Action 都在一个映射中执行。但是这个限制不会使您的工作流失败:他们只会等待资源。

我们遇到的主要限制(导致麻烦)是oozie服务的可调用队列。有时，在大量协调员提交大量工作量而造成的繁重工作上，Oozie花费了比运行工作流程更多的时间来处理其内部可调用队列:/
检查oozie.service.CallableQueueService设置以获取有关此信息。