gpt4 book ai didi

hadoop - Apache Pig - 处理中间别名?

转载 作者:可可西里 更新时间:2023-11-01 16:56:11 26 4
gpt4 key购买 nike

我正在编写一个包含许多操作的冗长的 Pig Latin 脚本。有时,操作的唯一目的是获得中间关系 X,该关系随后被转换或丰富为 Y,此时 X 不再是出于兴趣。 Pig 是否将 X 保持在某处(例如在内存或 HDFS 中)具体化,我是否应该担心“释放”X?或者这在 Pig 和 Hadoop 之间得到了处理?

奖励问题:如果在 MapReduce 上的 Pig、Tez 上的 Pig 和 Spark 上的 Pig 之间在运行时处理此类中间值时存在任何有趣的差异,那么也很高兴了解这一点。

最佳答案

Pig 使用惰性执行来评估。惰性求值的一些特征是

  • 处理只发生在 DUMP/STORE 命令上
  • 允许重新排序以进行优化
  • 内存流水线

Pig 解释器会在您提交查询后计算 DAG。您可以在 grunt shell 中使用 EXPLAIN 命令查看 pig 使用的执行计划。

关于hadoop - Apache Pig - 处理中间别名?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29666586/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com