apache-spark - Spark Structured Streaming 如何处理背压？

Question

我正在分析 Spark Structured Streaming 上的背压功能。有谁知道详情？是否可以通过代码调整进程传入记录？
谢谢

Answer 1

如果您的意思是在 Structured Streaming 中动态更改每个内部批次的大小，那么 否 . Structured Streaming 中没有基于接收器的源，因此完全没有必要。从另一个角度来看，Structured Streaming 并不能做真正的背压，因为，比如，Spark 不能告诉其他应用程序减慢将数据插入 Kafka 的速度。

通常，Structured Streaming 默认会尝试尽可能快地处理数据。每个源中都有允许控制处理速率的选项，例如 maxFilesPerTrigger在文件源中，和 maxOffsetsPerTrigger在 Kafka 源代码中。阅读以下链接了解更多详情:

http://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#input-sources
http://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html