java - 将 Spark Stream 的结果提取到 Java 对象中

Question

目前，我已经在 J​​ava 中将 Spark Stream 与 Kafka 集成，并且能够聚合统计信息。但是，我无法找到将结果存储到 Java 对象中的方法，因此我可以使用不同的方法/类传递带有结果的对象，而不将它们存储到数据库中。我花了相当多的时间在网上搜索教程/示例，但最终都是使用 print() 在控制台中显示结果。然而，我想做的是当用户调用rest-api端点时返回这些结果JSON字符串。

我是否可以将这些结果保存在内存中并使用不同的方法传递它们，或者我需要先将它们存储到数据库中并根据需要从那里获取它们？

Answer 1

如果我没猜错的话，您希望通过 Rest API 使用 Spark Streaming 的结果。

即使有一些方法可以直接完成此任务(例如使用 Spark SQL/Thrift 服务器)，我也会将这两个任务分开。否则，如果您的 Spark Streaming 进程失败，您的服务/REST-API 层也会失败。

因此，将这两层分开有其优点。您不必被迫使用经典数据库。您可以实现一个服务，该服务实现/使用 JCache 并将 Spark 流处理的结果发送给它。