json - 使用 Apache Drill 查询压缩的 gz 文件

Question

我让 Apache Drill 查询未压缩的 JSON 文件没有问题，但我正在努力处理 gz 压缩的 JSON 文件。

我的理解是 Drill 使用 Hadoop 文件连接器，我认为它能够处理 gz 文件，但似乎 Drill 的 JSON 查询功能总是锁定到 .json 文件。

我试过这样做:

"formats": {
  "gz": {
    "type": "json"
  }
}

但是，收到文件未找到错误。也试过这个:

"formats": {
  "json": {
    "type": "json",
    "extensions": [
       "gz"
     ]
  }
}

这会导致“无效的 JSON 映射”错误。

Answer 1

这是一个已在最新的 master 分支 (0.8) 上修复的错误: https://issues.apache.org/jira/browse/DRILL-1871

我的测试确认一切正常，仍然会遇到问题，但会返回一些结果。