python - 除了使用 Jython 之外，在 Hive UDF 中使用 Python 最简单的方法是什么？

Question

最坏的情况我想我可以实现一个生成进程等的 UDF，但想知道是否有人已经这样做了。

Answer 1

您可以在 hiveql 中使用转换，这是一种有效的进行 hadoop 流处理的方法。

在 hive cli 类型中

FILE ${env:HOME}/myscript.py; //you do not need this if your script is guaranteed to be installed on a cluster, this just adds script to cache.

SELECT TRANSFORM(someColumn) USING 'myscript.py' AS convert FROM mytable;