hadoop - 如何将 presto 集群集成到 hadoop 集群？

Question

我们有基于ambari的Hadoop集群由于 thrift server 性能不佳，我们决定用 presto 替换它我们当前的 Hadoop 集群有以下机器960台数据节点机器(基于redhat 7 OS)

关于presto的几句话-Presto(或 PrestoDB)是一个开源的分布式 SQL 查询引擎，从头开始设计用于对任何大小的数据进行快速分析查询。它同时支持非关系源，例如 Hadoop 分布式文件系统 (HDFS)，

我们安装了新的presto server如下首先我们安装了操作系统( redhat 7 ) ，一共13台机器1台用于presto协调器的机器还有 12 台机器供 presto worker 使用

安装操作系统后我们成功安装了 presto (presto coordinator + presto workers)

现在卡在presto集群到Hadoop集群怎么集成上了

我将给出有关配置单元连接器 ( hive.properties ) 的简短示例

我们有以下变量hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml

由于这个文件位于数据节点机器上，当然不在 presto worker 机器上，我假设我们需要将这些文件从其中一个数据节点机器复制到 presto worker 机器上

我在这儿吗？

Answer 1

您通常不需要配置 hive.config.resources 来允许 Presto 与您的 HDFS 集群通信。尝试在没有该配置的情况下使用 Presto。仅在您有特殊要求(例如 Hadoop KMS)时配置它。

要配置它，将适当的 Hadoop 配置文件复制到您的 Presto 机器(协调器和工作器)，然后设置 hive.config.resources 以指向这些文件。

参见 Hive connector documentation了解更多详情。