merge - 在 Spark Streaming 中合并两个流

Question

您能否通过以下问题将我推向正确的方向？ (即使链接到包含所需信息的文档也将不胜感激。)

是否有能力将多个数据流合并为元组流。

例如。我们有包含元素 (A1, t1), (A2, t2), ...(An, tn) 的流 A 和包含元素 (B1, t1'), (B2, t2'), ... , ( Bn, tn')。

其中 t 是值(value)时间(值实际上是时间序列)。

我想接收带有值的流 C

(A1", B1", t1"), ...,(An", Bn", tn")

来自流 A 和 B 的时间可能不同(这就是我使用 ' 和 "的原因)。度量可以在不同的时间以不同的速率消耗。在这种情况下，合并流时必须采用具有最新到所需时间戳的值。

Answer 1

您可以使用 DStream.join。当在 (K, V) 和 (K, W) 对的两个 DStream 上调用时，返回一个新的 (K, (V, W)) 对的 DStream，其中包含每个键的所有元素对。