apache-spark - 如何将 Spark 实时流与另一个流在其整个生命周期中收集的所有数据一起加入？

Question

我有两个 Spark 流，第一个是与产品相关的数据:它们对供应商的价格、货币、它们的描述、供应商 ID。这些数据按类别丰富，通过对描述的分析和美元价格猜测。然后将它们保存在 Parquet 数据集中。

第二个流包含有关这些产品拍卖的数据，然后是出售它们的成本和日期。

鉴于产品今天可以到达第一个流并在一年内出售，我如何将第二个流与第一个流的 Parquet 数据集中包含的所有历史连接起来？

要明确的结果应该是每个价格范围的平均每日 yield ......

Answer 1

我使用 snappydata 找到了一个可能的解决方案，使用其可变数据帧:

https://www.snappydata.io/blog/how-mutable-dataframes-improve-join-performance-spark-sql

报告的示例与 claudio-dalicandro 描述的示例非常相似。