hadoop - Hive HQL中参数的持久性？

Question

我在Hive中使用群集。

该群集具有特定的tez continer大小(通过Ambari设置)。

但是，我们有一个配置单元操作可以处理更多的数据。它是唯一的。

因此，我们计划仅为此过程更改tez容器的大小。这带来两个问题:

是否可以在HQL中设置hive.tez.container.size和hive.tez.java.opts(如set hive.tez.java.opts=XXX)？

此操作的范围和持久性是什么？如果我为一个查询设置了此设置，是否必须将其设置回原始值，还是仅在此查询/ tez session /其他设置中考虑到它？

Answer 1

您可以在脚本中设置这些参数，如下所示:

set tez.am.resource.memory.mb=8192;
set tez.am.java.opts=-Xmx6144m;
set tez.reduce.memory.mb=6144;    
set hive.tez.container.size=9216;   
set hive.tez.java.opts=-Xmx6144m;

如果未在查询之前重新定义，则范围将是整个 session 。如果单个脚本中有多个查询，并且每个查询需要不同的参数，请在每个查询之前设置参数。无法为不同的顶点(如map1和map2)设置不同的参数。

阅读本文: Demystify Apache Tez Memory Tuning Step by Step