java - HashMap 作为 Spark Streaming 中的广播变量？

Question

我有一些数据需要在 spark streaming 中分类。分类键值在程序开始时加载到 HashMap 中。因此，每个传入的数据包都需要与这些 key 进行比较并进行相应标记。

我意识到 spark 有称为广播变量和累加器的变量来分发对象。教程中的示例使用简单的变量，例如 etc。

如何使用 HashMap 在所有 spark worker 上共享我的 HashMap。或者，是否有更好的方法来执行此操作？

我正在用 Java 编写我的 Spark Streaming 应用程序。

Answer 1

在 spark 中，您可以用相同的方式广播任何可序列化的对象。这是最好的方法，因为您只需将数据发送给工作人员一次，然后就可以在任何任务中使用它。

斯卡拉:

val br = ssc.sparkContext.broadcast(Map(1 -> 2))

Java:

Broadcast<HashMap<String, String>> br = ssc.sparkContext().broadcast(new HashMap<>());