spring-boot - Spring Cloud数据流-微服务部署

Question

团队，目前，我正在研究 spring-xd，并将其用作数据分析和 yarn 作业的运行时容器。

我的问题是

1) 我可以利用我用于 spring-xd 的相同环境设置吗？
2)从文档中，我看到它可以部署为微服务，它是否使用嵌入式驱动程序进行流处理？如果它使用嵌入式驱动程序，我可以使用它在集群环境中部署，并使用与 spring-xd 相同的基础架构吗？
3) 是否有为 Apache Spark 构建的特定包装器？

我的环境:Spark 1.6.1、Hadoop 2.7.2、zookeeper 3.6.8、redis 3.2、spring-xd-1.3.1

非常感谢对此特定查询的任何帮助。

Answer 1

Can I leverage the same environment setup which I used for spring-xd?

Spring Cloud Data Flow (SCDF) 依赖spring-cloud-deployer SPI 以及 Cloud Foundry、Apache YARN、Apache Mesos 和 Kubernetes 的实现。鉴于您已经拥有一个使用 YARN 的 Hadoop 集群，您可以提供 YARN implementation SCDF 服务器。

is it using embedded drivers for stream processing?

不清楚你的意思。如果您指的是 jdbc-drivers；具体来说，当使用 jdbc 作为接收器应用程序时，我们确实嵌入了 OSS 友好的驱动程序，是的。

If it is using embedded drivers, can I use it to deploy in a clustered environment with the same infrastructure leveraged for spring-xd?

也许 #1 的答案涵盖了这一点。您可以利用相同的基础架构并使用 Ambari plugin 配置 YARN SCDF 服务器.

Is there any specific wrappers built for Apache Spark?

我们将 Spark 作为 client和 cluster应用程序。你可以register他们在 SCDF 中构建任务/批处理管道。