python - 突然之间，需要进行什么样的转换才能改组(可能意味着一个新的阶段)？

Question

This question already has answers here:

What are the Spark transformations that causes a Shuffle?

(4个答案)


3年前关闭。




如何确定 Spark 的新变化是否导致舞台的创建？有他们的 list 吗？

最佳答案

有一些常见的运算符，例如reducebykey，groupbykey可能会导致随机播放。您可以访问Spark官方网站以了解更多信息。

关于python - 突然之间，需要进行什么样的转换才能改组(可能意味着一个新的阶段)？ ，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/40781351/

上一篇：hadoop - 如何在Ubuntu14上为HDP安装创建本地存储库？

下一篇：hadoop - 创建Oozie共享库

Answer 1

有一些常见的运算符，例如reducebykey，groupbykey可能会导致随机播放。您可以访问Spark官方网站以了解更多信息。