hadoop - 如何编写配置单元UDF

Question

我对如何使用UDFS感到困惑，是否可以用UDF取代bash以下脚本功能？

#!/bin/bash

 src_count_q="use db;select count(*) from config_table where table_nm="test_source";"
 src_count=$(hive -e $src_count_q)

 trg_count_q="use db;select count(*) from config_table where table_nm="test_target";"
 trg_count=$(hive -e $trg_count_q)

 if ["$src_count" = "trg_count"];
 then
   $(hive -e "use db;select * from test_target;")
 fi

请帮忙 !!我已经看到了有关如何反转字符串或更改大小写的UDF，但是我无法弄清楚如何针对此类条件情况编写HIVE UDF，因为在这种情况下我们会重用查询结果。

还有其他更好的方法来处理这类查询流吗？

Answer 1

据我说，您可以使用HIVE UDF在 hive 中启用某些sql函数，但是您不能使用它们将PL-SQL放在类似的东西中。
因此，对于您的问题，可以使用Spark-SQL是我使用的更好的方法。