java - 如何为 apache drill 编写自定义存储插件

Question

我的数据格式正确，Apache drill 不支持这些格式。有没有关于如何编写我自己的存储插件来处理此类数据的教程。

Answer 1

这确实应该包含在文档中，但目前还没有。界面并不太复杂，但查看现有插件之一并了解正在发生的一切可能有点复杂。

编写存储插件有两个主要组成部分，向查询计划器和模式管理系统公开信息，然后实际实现从数据源 API 到钻取记录表示的转换。

Kudu 插件是最近添加的，对于具有 Drill 可以利用的许多元素的存储系统来说是一个合理的模型。我要注意的一件事是，如果您的存储系统不是分布式的，并且您只是计划进行所有远程读取，那么您不必在组扫描中围绕关联/工作列表/分配做太多工作。如果我很快有时间，我会尝试写一个关于界面不同部分的文档，并可能写一个关于现有插件之一的教程。

https://github.com/apache/drill/tree/master/contrib/storage-kudu/src/main/java/org/apache/drill/exec/store/kudu