gpt4 book ai didi

hadoop - pig 多查询优化问题

转载 作者:行者123 更新时间:2023-12-02 21:52:57 28 4
gpt4 key购买 nike

我们遇到了Pig的Multiquery Optimizer无法按预期工作的问题。

据我了解,以下脚本应作为一个MR作业运行,但在我们的集群中应作为两个作业运行。我认为默认情况下应该启用Multiquery Optimization,我在这里错过了什么吗?如果我用“filter”语句替换该组,则它可以作为一个单独的MR作业。

data = LOAD 'input' AS (a:chararray, b:int, c:int);
A = GROUP data BY b;
B = GROUP data BY c;
STORE A INTO 'output1';
STORE B INTO 'output2';

我正在使用CDH打包的 pig 0.1.0和Hadoop 2.0.0。

最佳答案

如果0.1.0是您的Pig安装的真实版本-它非常旧。最新版本是0.11.1。

有关0.11.1文档性能的页面:
http://pig.apache.org/docs/r0.11.1/perf.html

关于hadoop - pig 多查询优化问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18409574/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com