hdfs - Presto hdfs 本地读取和预聚合

Question

在 5 个节点集群上运行 Presto 大扫描查询，看起来只有一个节点是查询协调器，并通过网络从 5 个 hdfs 节点读取数据。

所有presto进程都在数据节点上运行。

有没有办法让5个节点使用shortcut local reads从hdfs读取数据？

presto 节点是否进行任何预聚合？

Answer 1

如果您在与 HDFS 数据节点相同的机器上安装了 Presto worker，您的问题并不清楚。如果还没有，installation instructions会帮助你做到这一点。

一旦所有数据节点上都有 Presto worker，Presto 应该在从本地 DFS 节点访问数据时自动执行本地读取。 Presto 更喜欢将工作安排在与 DFS 节点相同的机器上，但如果该机器过载，它会将工作安排在另一台机器上，因此您通常会获得一些远程读取。大多数读取应该是本地的，您可以使用协调器上的 com.facebook.presto.execution:name=NodeScheduler mbean 来验证此分布。

Presto 始终在叶工作节点上执行部分聚合。