java - 在正在运行的 Spark Streaming 作业中动态修改窗口长度或创建多个窗口

Question

Spark Streaming 中的窗口操作

我对在运行的 Spark 流中创建多个窗口(窗口操作)的支持有疑问。

考虑到我们有一个正在运行的 Spark 流，并且我们最初创建了一定长度的窗口，现在我们可以在正在运行的流作业中更改这些窗口的长度，或者我们可以在该正在运行的流中创建更多不同长度的窗口。

根据我的理解，窗口将在驱动程序代码中初始化，然后该窗口的操作将在工作人员上完成。

但这似乎是一个有效的用例，我们必须修改正在运行的流中的窗口长度，或者可能需要添加不同长度的窗口而不重新启动正在运行的流。

我一直在尝试这样做，但对更新正在运行的流中的窗口长度有疑问。

非常欢迎任何帮助或建议:)

Answer 1

据我了解 Spark Streaming，您无法在运行时创建/修改窗口或流。为此，您必须重新启动整个应用程序。或者您必须完全关闭窗口并使用一些有状态的转换，然后您可以在运行时配置它们。