gpt4 book ai didi

hadoop - 背压属性在 Spark Streaming 中如何工作?

转载 作者:可可西里 更新时间:2023-11-01 14:22:46 24 4
gpt4 key购买 nike

我有一个接收单个事件(字符串)的 CustomReceiver。在 spark 应用程序运行时使用接收到的单个事件从 nosql 读取数据并应用转换。当观察到每个批处理的处理时间大于批处理间隔我设置了这个属性。

spark.streaming.backpressure.enabled=true

在此之后,我希望 CustomReceiver 在批处理时间超过批处理窗口时不会触发和接收事件,但这种情况并没有发生,并且仍在添加积压的批处理。我在这里遗漏了什么吗?

最佳答案

尝试检查thisthis文章。

关于hadoop - 背压属性在 Spark Streaming 中如何工作?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41841326/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com