gpt4 book ai didi

hadoop - 有状态和无状态流 (Spark)

转载 作者:可可西里 更新时间:2023-11-01 14:56:29 25 4
gpt4 key购买 nike

我知道有状态和无状态流处理之间的区别。我读到 Storm 是无状态的,而 Trident 是有状态的。我还了解到 Hadoop(用于批处理)是有状态的,而 Spark 可以计算有状态操作。

有人可以澄清一下吗?具体来说,

  1. spark 能否同时执行有状态和无状态操作?
  2. Hadoop 是有状态的是什么意思,因为我们在谈到 Hadoop 时只谈论批处理。
    1. Apache Storm 如何处理有状态流? (使用三叉戟?)

最佳答案

1-是的 spark 有状态和无状态操作 Stateful Stream Processing with mapWithState

有关详细信息,请参阅 https://databricks.com/blog/2016/02/01/faster-stateful-stream-processing-in-apache-spark-streaming.html

2-Hadoop 是有状态的,因为它只读一次

关于hadoop - 有状态和无状态流 (Spark),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40296115/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com