sql - Apache Drill 使用 IN() 运算符查询 mongo 数组字段类型

Question

以下面的文档结构为例，我需要在钻取中执行 SELECT ... WHERE field IN(values)。

{   "CD_MATRICULA" : 12,
    "USUARIO" : {
        "ID_SITUACAO" : 1,
        "PUBLICOALVO" : [ 84,85,86,87,88,89 ]
    }
},
{   "CD_MATRICULA" : 14,
    "USUARIO" : {
        "ID_SITUACAO" : 1,
        "PUBLICOALVO" : [ 90,91,92,93,94 ]
    }
},
{   "CD_MATRICULA" : 122,
    "USUARIO" : {
        "ID_SITUACAO" : 0,
        "PUBLICOALVO" : [ 20,300,400,500,600 ]
    }
}

要按 USUARIO.PUBLICOALVO 值查找文档，我可以使用以下 mongo 查询:

db.getCollection('xxx').find({'USUARIO.PUBLICOALVO': {$in: [ 84, 85, 90, 94, 500 ]}})

它工作正常，通过 IN() 比较列表返回所有文档。

但是，当我尝试在 DRILL 的 SQL 中执行相同的 mongo 查询时，我这样做:

SELECT * FROM xxx WHERE xxx.USUARIO.PUBLICOALVO IN(84, 85, 90, 94, 500);

但是这个查询失败了，消息是:

Error in expression at index -1.  Error: Missing function implementation: [equal(INT-REPEATED, INT-REQUIRED)].  Full expression: --UNKNOWN EXPRESSION--.

如何在 drill sql 语法中编写这个过滤器之王 IN()？

非常感谢

Answer 1

Apache Drill 的 Mongo 存储插件不支持 IN 运算符。

original documentation for Apache Drill's Mongo storage plugin声明:

As of now, predicate pushdown is implemented for the following filters: >, >=, <, <=, ==, !=, isNull and isNotNull.

查看 latest version of the code情况仍然如此:

switch (functionName) {
    case "equal":
      compareOp = MongoCompareOp.EQUAL;
      break;
    case "not_equal":
      compareOp = MongoCompareOp.NOT_EQUAL;
      break;
    case "greater_than_or_equal_to":
      compareOp = MongoCompareOp.GREATER_OR_EQUAL;
      break;
    case "greater_than":
      compareOp = MongoCompareOp.GREATER;
      break;
    case "less_than_or_equal_to":
      compareOp = MongoCompareOp.LESS_OR_EQUAL;
      break;
    case "less_than":
      compareOp = MongoCompareOp.LESS;
      break;
    case "isnull":
    case "isNull":
    case "is null":
      compareOp = MongoCompareOp.IFNULL;
      break;
    case "isnotnull":
    case "isNotNull":
    case "is not null":
      compareOp = MongoCompareOp.IFNOTNULL;
      break;
}

FWIW，IN 不是唯一不受支持的运算符； LIKE 运算符还不受支持，尽管有一个 open issue针对 Drill Mongo 存储插件。

所以你可以...

• 自己实现 IN 运算符。 this issue 附有补丁这可能会提供一些有关如何实现 IN 运算符
的指导
• 针对 Drill project 提出问题指定 Component=Storage - MongoDB
• 将您的 IN 实现为一系列或等式，例如而不是 WHERE xxx.USUARIO.PUBLICOALVO IN (84, 85, 90, 94, 500) 你可以尝试 WHERE xxx.USUARIO.PUBLICOALVO = 84 OR xxx.USUARIO.PUBLICOALVO=85 。 ..