amazon-web-services - 在Amazon EMR中设置配置单元属性？

Question

我正在尝试使用Amazon EMR运行Hive查询，并试图使Apache Tez也可以使用它，据我了解，这需要根据the hive site将hive.execution.engine属性设置为tez？

我知道，通常可以使用set hive.{...}或在hive-site.xml中设置 hive 属性，但我不知道这些属性中的任何一个如何与Amazon EMR中的/交互。

因此:有没有一种方法可以在Amazon EMR中设置Hive配置属性，如果可以，如何设置？

谢谢!

Answer 1

您可以通过两种方式执行此操作:

1)直接在单个HIVE脚本内(.hql文件)

只需将属性放在Hive hql脚本的开头，例如:

set hive.execution.engine=tez;
CREATE TABLE...

2)通过应用程序配置

创建EMR群集时，可以指定适用于整个群集生命周期的Hive配置。可以通过AWS管理控制台或AWS CLI进行。

a)AWS管理控制台

打开AWS EMR服务，然后单击创建集群按钮

单击转到顶部

的高级选项

确保确保在应用程序中选择Hive，然后输入如下所示的JSON配置，在这里您可以找到hive-site xml配置中通常具有的所有属性，我以TEZ属性为例。您可以选择从S3路径加载JSON。

b)AWS CLI

如 here所述，您可以使用 --configurations标志指定集群创建时的Hive配置，如下所示:

aws emr create-cluster --configurations file://configurations.json --release-label emr-5.9.0 --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large --auto-terminate

JSON文件具有与上面在管理控制台示例中显示的内容相同的内容。

同样，您可以选择指定S3路径:

--configurations https://s3.amazonaws.com/myBucket/configurations.json