java - 如何在 apache spark 中加入两个(或更多)流(JavaDStream)

Question

我们有一个使用 Gnip 合规流的 Spark 流应用程序。

在旧版本的 API 中，合规性流由一个端点提供，但现在由 8 个不同的端点提供。

我们可以使用不同的参数运行同一个 spark 应用程序 8 次以使用不同的端点。

Spark Streaming 中是否有一种方法可以使用 8 个端点并将它们合并到同一个应用程序中？

我们应该为每个连接使用不同的流上下文还是一个上下文就足够了？

Answer 1

我认为您正在寻找 Spark union在这里。

阅读以下示例 Concatenating datasets of different RDDs in Apache spark using scala

根据 Spark 文档 Spark 联合:

Return a new dataset that contains the union of the elements in the source dataset and the argument.