gpt4 book ai didi

apache-spark - Spark Streaming 中的有序处理

转载 作者:行者123 更新时间:2023-12-04 04:25:14 24 4
gpt4 key购买 nike

是否可以在 Spark Streaming 中强制执行有序处理?我们的用例是从 Kafka 读取事件,其中每个主题都需要按顺序处理。

据我所知这是不可能的 - 每个流都被分解为 RDD,并且 RDDS 是并行处理的,因此无法保证顺序。

最佳答案

您可以强制 RDD 成为单个分区,从而消除任何并行性。

关于apache-spark - Spark Streaming 中的有序处理,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30653882/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com