scala - 我们可以在德鲁伊中进行转换吗

Question

我有一个场景，我将在 csv 文件中接收数据，并且我需要用现有的列生成一些列。示例:

Col_1   Col_2    Col_3   Col_4
abc     1        No      123
xyz     2        Yes     123
def     1        Yes     345

预期:

Col_1    Col_2    Col_3   Col_4   Col_5   Col_6
abc      1        No      123     1       1
xyz      2        Yes     123     0       0
def      1        Yes     345     0       0

Col_5 条件:if Col_1 = 'abc' then 1 else 0 endCol_6 条件:max(Col_5) 超过 (Col_2)

我知道我们可以在 Druid 中加载文件时执行转换，我尝试了更简单的条件，这对我来说工作正常，但我很怀疑在这里执行聚合和其他转换，如 Col_6。

我们还需要对我们将要接收的不同文件数据执行聚合，假设我们今天有 2 个文件，我们将数据加载到 Druid 表，明天我们再次有 3 个文件具有相同的数据(ID)这里是 Col_2 那么我们需要根据我们拥有的所有记录进行聚合，示例:这里是 Col_6 生成...

这在 Druid 中是否可行？

Answer 1

看看https://druid.apache.org/docs/latest/misc/math-expr.html其中包含许多您可以使用的转换表达式。

特别是，我通过创建以下表达式使用维基百科演示数据测试了您的用例:

    {
            "type": "expression",
            "name": "isNB",
            "expression": "case_simple(\"namespace\", 'Main',1,0)"
          },

          {
            "type": "expression",
            "expression": "greatest( case_simple(\"IsNew\", True, 1, 0), case_simple(\"namespace\", 'Main',1,0)",
            "name": "combined_calc"
          }

需要注意的是，转换表达式不能引用其他转换表达式，因此需要从原始输入字段进行所有计算。