hadoop - Oozie-使用4-4-4日历进行交易

Question

我们有一个基于4-4-4日历(又称每4周)安排的数据源。

我们正在寻求使用协调器和触发文件来通知数据到达。我想根据yyyy / period_id(一年有13个期间)来组织文件夹结构。每个周期我们有3个数据提要，每个数据提要在3-4天之内错开……因此使用mmdd是不理想的。

例如，日历将如下所示。

开始日期一月16

结束日期12月18日

1月16日实例1路径:2017/1 / *

2月13日实例2

3月13日实例3

4月10日实例4

5月8日实例5

6月5日实例6

7月3日实例7

7月31日实例8

8月28日实例9

9月25日实例10

10月23日实例11

11月20日实例12

12月18日实例13路径:2017/13 / *

OOzie语言中是否有一个函数可以为oozie协调器返回增量实例化代码？

也就是说，7月的第一个作业执行将返回7，7月的第二个作业执行将返回8

我看错了方向吗？另一个选择是让脚本在表中查找日期范围内的值，然后返回期间ID，这会有些复杂

谢谢

Answer 1

关于是否有一个Oozie EL函数返回协调器实例的实例号的问题的简短答案是:不，据我所知。

您可能编写了一个自定义EL函数来进行日期计算(请参阅answer here)，该日期返回基于当年当天的期间号。

但是，我发现触发Oozie协调器的选项有些有限，因此，如果您发现花费更多的时间来尝试解决Oozie局限性的方法，那么您可能需要问自己是否是正确的工具为了工作。