gpt4 book ai didi

hadoop - hive 和用户定义的功能

转载 作者:行者123 更新时间:2023-12-02 21:52:58 26 4
gpt4 key购买 nike

我对UDF在Hive上有疑问。
当我在配置单元查询中使用UDF时,它是否以MapReduce方式处理数据?例如,当我使用函数avg时。 Hive是否会转换mapReduce Jobs中的功能?
最好的

最佳答案

在大多数情况下,Hive查询将转换为map / reduce作业(异常(exception)情况是HBase表上的SELECT *之类的东西)。平均值(avg)是内置的聚合函数,而不是UDF,但是此Hive将在映射/归约作业中进行处理。

请注意,Hive的 future 版本可能会对此进行改进(例如,参见post on Hive Stinger initiative),但是如上所述,当前它主要是m / r

关于hadoop - hive 和用户定义的功能,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18388851/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com