gpt4 book ai didi

asynchronous - 用于折叠、减少、聚合的 Spark 异步接口(interface)?

转载 作者:行者123 更新时间:2023-12-03 07:14:12 27 4
gpt4 key购买 nike

在官方 Spark RDD API 中:

https://spark.apache.org/docs/2.1.0/api/java/org/apache/spark/rdd/AsyncRDDActions.html

count、collect、foreach 和 take 都有返回 Future 的异步变体。

为什么折叠、减少和聚合没有这个异步/ future 接口(interface)?这看起来非常重要。

最佳答案

!!!已编辑

@Jan Van den bosch 是对的(见下面的评论)。这个问题根本不是关于转换的。为了防止其他人被愚弄,我在下面留下了我的错误答案。

!!!原始答案(不正确)

TL;DR: Spark“操作”与“转换”之间的区别:https://spark.apache.org/docs/2.2.0/rdd-programming-guide.html#rdd-operations

<小时/>

请注意,您用异步选项列出的所有事物都是 Spark “操作”,这意味着它们将立即开始处理数据并尝试同步返回。如果数据很多,可能需要很长时间,所以最好有一个异步选项。

同时,您列出的没有异步选项的操作是 Spark “转换”,它们是延迟评估的,这意味着它会立即创建一个计划来完成工作,但实际上不会处理任何数据,直到您稍后应用“操作”以返回结果。

同时,您是否有特定代码或您想用此解决的问题?

关于asynchronous - 用于折叠、减少、聚合的 Spark 异步接口(interface)?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29372806/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com