python - 是否可以使用 Hive Streaming 转换特定列？

Question

下面的语法有效:

SELECT TRANSFORM(col1,col2,col3) USING 'python script.py' AS col_1,col_2,col_3 FROM...

python脚本实际上只转换了col3，而col1、col2只是通过python脚本，没有任何变化。我想重新使用这个 python 脚本，这样只要通过 col1，我就可以用任意列替换 col1、col2。但是以下两个代码不起作用:

SELECT col1, col2, TRANSFORM(col3) USING 'python script.py' AS col_1 FROM... 

SELECT TRANSFORM(col3) USING 'python script.py' AS col_3, col1, col2 FROM... 

是否有办法仅将选定列的子集传递给流式脚本，同时让其他选定列离开流式处理过程？

提前致谢。

Answer 1

这行不通，因为转换可以返回多行。想象一下，如果某些 col3 的 script.py 返回 2 行(col31 和 col32)。语法是什么意思？返回 col1、col2、col31 和 col1、col2、col32？