apache-kafka - 如何在cloudfoundry上使用kafka和storm？

Question

我想知道是否可以将 kafka 作为云原生应用程序运行，我是否可以在 Pivotal Web Services 上创建一个 kafka 集群作为服务。我不想要客户端集成，我想要运行 kafka 集群/服务本身？

谢谢，
阿尼尔

Answer 1

我可以指出一些起点，从这些起点到功能齐全的东西需要一些工作。

一种选择是使用 docker 镜像在 Cloud Foundry(例如 Pivotal Web 服务)上部署 kafka 集群。 Spotify has Dockerized kafka and kafka-proxy (包括动物园管理员)。要记住的一件事是，PWS 当前不支持具有持久性的应用程序(尽管 this work is starting )，因此如果您现在要走这条路线，那么在应用程序滚动时您将丢失 kafka 中的数据。查看该 Spotify 存储库，看起来 docker 镜像通常在没有任何挂载卷的情况下运行，因此这种无持久性的 kafka 似乎可能是一个有效的用例(我对 kafka 的了解还不够多)。

另一种选择是使用 BOSH 将 kafka 直接部署在某些 IaaS(例如 AWS)上。如果您是第一次看到 BOSH，它可能很难，但它是部署您想要在 VM 上运行的任何分布式软件的理想方式。如有必要，您还可以将持久卷附加到您的 kafka 虚拟机。这是一个 kafka BOSH release这可能有效。

集群运行后，您可以通过两种方式将 Cloud Foundry 应用程序与其集成。最简单的方法是将其作为“user-provided service”提供给您的应用程序，这样您就可以将 kafka 集群访问信息传输到您的应用程序。另一种方法是在您的集群前面放置一个服务代理，如果您有许多不同的人将推送需要与 kafka 集群通信的应用程序，这将特别有用。您不必每次都手动告诉人们访问信息，他们可以做一些简单的事情，例如 cf bind-service SOME_APP YOUR_KAFKA_SERVICE .这是一个 kafka service broker连同 more info about service brokers in general .