java - 大数据微服务间通信

Question

我正在构建一个基于 spring 云的微服务 ML 管道。我有一个(当前)从 SQL 获取数据的数据摄取服务，预测服务需要使用这些数据。

普遍的共识是写入应该使用 kafka/rabbitmq 使用基于异步消息的通信。

我不确定的是如何编排这些服务？

我应该使用 API 网关来调用启动管道的摄取吗？

Answer 1

通常，您会构建一个带有休息端点 (Spring Boot) 的服务来摄取数据。然后可以在负责路由的 api 网关(Zuul、Spring Cloud)后面多次部署此服务。这是默认的 Spring Cloud 微服务设置。然后摄取服务可以转换数据并将其生成到 RabbitMQ 或 Kafka。我建议使用 Spring Cloud Stream 与队列进行交互，它是 RabbitMQ 和 Kafka 之上的抽象，可以使用启动器/绑定(bind)器进行配置。

Spring Cloud Dataflow 是一种用于编排队列的声明式方法，还负责在多个云服务/平台上进行部署。这也可以使用，但可能会给您的用例增加额外的复杂性。