gpt4 book ai didi

apache-spark - DStream 在一个批处理间隔内生成多少个 RDD?

转载 作者:行者123 更新时间:2023-12-03 07:21:54 24 4
gpt4 key购买 nike

无论数据量有多大,一个批处理的数据是否会在 DStream 中生成一个且仅一个 RDD?

最佳答案

是的,每个批处理间隔恰好有一个 RDD,在每个批处理间隔生成,与记录数量无关(包含在 RDD 中 - 内部可能有零条记录)。

如果没有,并且 RDD 创建以元素数量为条件,则不会有同步(微批处理)流,而是一种异步处理形式。

关于apache-spark - DStream 在一个批处理间隔内生成多少个 RDD?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35164634/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com