apache-spark - Apache Spark结构化流与Apache Flink : what is the difference?

Question

我们讨论了以下问题:

What is the difference between Apache Spark and Apache Flink? [closed]

What does “streaming” mean in Apache Spark and Apache Flink?

What is the difference between mini-batch vs real time streaming in practice (not theory)?

但是 Spark Structured Streaming是在Spark2.2上添加的，它为流传输带来了很多更改，并且非常出色。

我们可以说 Spark Strutured Streaming是流处理还是仍然是批处理？

现在 Apache Flink和 Apache Spark Structured Streaming之间的最大区别是什么？

Answer 1

当前:

Spark结构化流仍然在后台使用微批处理。但是，它支持事件时间处理，相当低的延迟(但不低于 Flink)，支持SQL和在一个API上的流类型安全查询；没什么区别，可以使用SQL或类型安全运算符来查询每个数据集。它具有端到端的精确语义(至少他们说的是;))。 The throughput is better than in Flink(有一些基准测试结果不同，但请看Databricks post about the results)。

在不久的将来:

Spark连续处理模式正在开发中，它将使Spark延迟约1毫秒，与Flink的延迟相当。但是，正如我所说，它仍在进行中。该API已准备好用于非批处理作业，因此比以前的Spark Streaming更容易实现。

主要区别:

Spark现在依靠微批处理，而Flink已预先安排了运营商。这意味着Flink的延迟较低，但是Spark Community在“连续处理模式”下工作，据我所知，该模式将类似于接收器。