apache-spark - Spark Streaming 和 Spark Structured Streaming 使用相同的微批处理引擎吗？

Question

Spark Streaming 和 Spark Structured Streaming 使用相同的微批调度引擎吗？ Spark Structured Streaming 的延迟是否低于 Spark Streaming？

Answer 1

Do Spark Streaming and Spark Structured Streaming use same micro-batch scheduler engine

当然不是。它们在内部是不同的，但共享流和记录的相同高级概念。

在 Spark Structured Streaming 中，您可以使用 DataStreamWriter.foreach 或 DataStreamWriter.foreachBatch 方法尽可能接近 Spark Streaming 中的情况。

主要区别在于如何描述流式管道。在 Spark Structured Streaming 中，您使用 Spark SQL 的 Dataset API，而 Spark Streaming 则使用 Spark Core 的 RDD API。两者最终都是基于 RDD 的计算，但 Spark SQL 使用更高级别的抽象(例如 Dataset API)。

他们都使用“微批调度引擎”吗？是的，但 Spark Structured Streaming 正在尝试利用一些可以连续查询的数据源(并且没有微批处理)。

does Spark Structured Streaming have lower latency than Spark Streaming?

这很难回答。 Spark Streaming 的创建者决定开发 Spark Structured Streaming，并希望在查询性能和表现力方面变得更好。不再推荐使用 Spark Streaming。