sql - 我们如何替换配置单元变量的值以检查是否有任何错误

Question

我们有一个查询，我们在其中定义了 50 多个变量。

我们通过 shell 脚本调用此 hql，大多数时候我会遇到语法问题，因为我没有在查询中正确定义配置单元变量。

Example
set hive var0=value0;
set hive var1=value1;
set hive var2=value2;

select * from ${hiveconf:var0} where col1=${hiveconf:var1} and col2=${hiveconf:var2};

我想在替换配置单元变量后检查上面的查询结果，那么有没有一种方法可以检查变量是否以正确的方式解析或是否存在任何语法错误。

请让我知道任何替代方案。

Answer 1

更好用hivevar相同的命名空间。

您可以使用 ! echo 打印所有变量命令:

set hivevar:var0=value0;
hive> ! echo  Variable hivevar:var0 is ${hivevar:var0};

结果:

Variable hivevar:var0 is value0

也可以使用 explain extended <query> - 它将打印带有谓词的详细查询计划，如果是语法错误则失败。

更新:如果 hive.fetch.task.conversion，您也可以使用 SELECT 来做同样的事情，并且 Hive 可以在没有 MR 启动的情况下执行简单的查询。设置为 more或 minimal .如果您使用的是 Qubole，请同时添加 limit 1到查询:

 set hive.fetch.task.conversion=more; 
 select 'Variable hivevar:var0 is', '${hivevar:var0}' limit 1;

为什么您可能需要使用 SELECT 来执行此操作？例如，为了使用转换或一些 UDF 轻松检查参数。如果你需要检查参数是否为 DATE 类型, 使用

 set hive.fetch.task.conversion=more; 
 select 'Variable hivevar:var0 is', date '${hivevar:var0}' limit 1;

在这种情况下如果${hivevar:var0}不是日期，则抛出类型转换异常并终止脚本执行。