java - Spark 结构化流状态管理

Question

我了解到，默认情况下，结构化流支持 HDFSBackedStateStoreProvider。这意味着所有状态相关信息都存储在 HDFS 位置。

它是否确保内存中不会存储任何可能导致 GC 长时间暂停的数据？

提出这个问题的原因是，我正在运行的作业在高流量期间停止处理数据，并在延迟 15-20 分钟后 catch 。

Answer 1

Does it ensures that no data is stored In-memory which could cause long GC pauses?

Spark 在执行程序的内存中维护某些版本的状态，以避免每个批处理重新读取以前的状态。

顺便问一下，您使用的是哪个版本的 Spark？ Spark 2.4.0 对 HDFS 状态存储提供程序中的内存使用进行了一些改进，这将大大减少长时间运行的结构化流应用程序的内存使用。因此，如果您没有使用 Spark 2.4.0，值得一试。

• SPARK-24717 [1]:在 HDFSBackedStateStoreProvider 中拆分出内存的最小保留状态版本

• SPARK-24763 [2]:从流聚合中的值中删除冗余关键数据

  1. https://issues.apache.org/jira/browse/SPARK-24717
  2. https://issues.apache.org/jira/browse/SPARK-24763