gpt4 book ai didi

java - spark javardd 方法 collect() 和 collectAsync() 之间有什么区别?

转载 作者:行者123 更新时间:2023-11-30 08:30:18 36 4
gpt4 key购买 nike

我正在探索 spark 2.0 java api,并且对可用于 javardd 的 collect()collectAsync() 有疑问。

最佳答案

Collect 操作基本上用于查看 RDD 的内容,基本上它是同步的,而 collectAsync() 是异步的,这意味着它返回一个 future 以检索此 RDD 的所有元素。它允许运行其他 RDD 并行运行。为了更好地优化,您可以利用公平调度程序进行作业调度。

关于java - spark javardd 方法 collect() 和 collectAsync() 之间有什么区别?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41333190/

36 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com