java - Spark Streaming Context 阻塞 REST 端点

Question

我正在使用 Spring Boot、Kafka 和 Spark 开发一个小项目。到目前为止，我已经能够在一个项目中创建一个 Kafka 生产者，并作为消费者创建一个 Spark-Kafka 直接流。

我能够看到消息传递，并且事情似乎按预期进行。但是，我在运行消费者的项目上有一个休息端点。每当我禁用直接流时，端点都可以正常工作。然而，当我运行流时， postman 说没有响应。我在服务器日志中没有看到任何内容表明曾经收到过请求。

Spark 消费者在项目启动时由 bean 启动。这是否会阻止 localhost:8080 上的正常服务器启动？

Answer 1

最初，我通过将 StreamingContext 注释为 Bean 来启动它。相反，我让应用程序实现 CommandLineRunner，并在重写的 run 方法中调用启动 Streaming Context 的方法。这使得 Apache 能够启动并解决了问题。