bash - 如何使用Transform将Unix Bash脚本或awk脚本用作Hive UDF？

Question

我正在尝试使用“TRANSFORM”运行一个Hive查询，PFB示例查询

例如:-

SELECT TRANSFORM (*)
  USING 'worker.py' as (sum)
  FROM mysource_filetable

在上面的示例中，Python用于UDF以计算所有列的总和。

我不想使用Python或Java代码作为UDF，这是我们可以使用Bash脚本取所有列之和的一种方式。

Answer 1

当然，Hive流式UDF功能可以与任何脚本类型一起使用。只需指定可执行文件和脚本(添加资源后)。因此，对于此示例，您的代码将如下所示:

SELECT TRANSFORM (*)
  USING 'sh worker.sh' as (sum)
  FROM mysource_filetable

确保您遵循有关流式UDF的其他准则，例如您正在从stdin读取并通过stdout传递值。您可以在这里找到更多信息: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Transform