amazon-web-services - Apache Drill 使用 S3 数据源速度慢得无法使用？

Question

我正在尝试将 Apache Drill 与 S3 存储桶一起使用，但速度非常慢。

我有大约 20,000 个 JSON 文件。我可以在几秒钟内从本地获取结果，例如:

> select count(*) from dfs.`/path/to/my/files/*.json`;

不到 2 秒后返回。

即使在 10 分钟后，尝试对 S3 存储桶中完全相同的文件运行完全相同的查询也无法完成:

> select count(*) from s3.`releases`;

这是为什么？我认为 Drill 的全部意义在于它在大数据集上的速度很快。

我的 S3 连接本身没问题，例如SHOW files 会在合理的时间内向我显示我的可用文件夹，而且我的网络连接也没有任何问题。

Answer 1

这不是您问题的直接答案，但您应该查看 athena如果你想在 s3 存储桶上查询并且你有大数据集