java - WCF 与 Spark 集成

Question

我们有在 WCF 基础设施上运行的服务。 WCF 服务客户端是.net 窗口窗体应用程序。对于一些时间和资源密集型任务，我们正在尝试将 WCF 服务与 Apache Spark 集成。 WCF 服务应调用 Apache Spark 来执行任务。 Apache Spark 支持 java 而不是 C#。我们需要某种方式来从 WCF 服务调用 Spark 进行数据处理。我们正在尝试以可插拔的方式添加 Spark 。如果在不久的将来出现任何新技术，那么我们可以很容易地用它代替 spark。

一种方法是使用消息队列，其中 WCF 将任务放在队列中，spark 从队列中获取任务并执行任务。消息队列方法在架构中增加了另一层。

一个。消息队列架构是一种优雅的解决方案吗？优点和缺点？

将 Spark 与 WCF 集成的其他方法有哪些？

Answer 1

不是最优雅的:我们运行 Java 服务器并通过命令行调用 Spark。我没有发现 Spark 适合在我们的 Web 服务器中运行(重叠的依赖项太多)。一个有趣的选择可能是 https://github.com/spark-jobserver/spark-jobserver但我还没有尝试过