gpt4 book ai didi

apache-spark - WAL 在 Spark Structured Streaming 中的位置

转载 作者:行者123 更新时间:2023-12-04 17:30:18 25 4
gpt4 key购买 nike

我已经为我的结构化流应用程序启用了 WAL。我在哪里可以找到 WAL 日志的位置?我可以在前缀 receivedBlockMetadata 中看到我的 Spark 流处理的 WAL。但是,我没有看到为结构化流创建的任何前缀

最佳答案

据我了解,WAL只对spark streaming有效,对structured streaming无效。Structured Streaming 像 flink global state 一样基于 Checkpoint 实现容错。检查点存储所有状态,包括 kafka 偏移量和其他。位置在您的代码中指定。

关于apache-spark - WAL 在 Spark Structured Streaming 中的位置,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60385591/

25 4 0