gpt4 book ai didi

docker - 用于Docker Swarm中所有服务的基本镜像中的Avro ?? NiFi-> Kafka-> PostgreSQL

转载 作者:行者123 更新时间:2023-12-02 21:18:03 24 4
gpt4 key购买 nike

我是Docker的新手。 NiFi和Kafka的新功能...

问题:如何使用Docker堆栈管理Avro?是否为docker-compose.yml文件中生成的每个镜像安装Avro?我是否应该以其他方式拥有一个单独的容器?

详细信息:

我的愿景是由五台机器组成的集群,通过NiFi到Kafka(使用Avro)运行ETL流程,然后将消息提取到3个带有唯一数据库的PostgreSQL容器中。另一个容器将运行Web服务器来提供对DB的访问。

这就是三个容器加上三个PostgreSQL容器实例。

其他服务/微服务可以驻留在现有容器中,也可以最终分解到一个单独的容器中(例如:API)。

最佳答案

Apache Nifi包含读取和写入Avro数据的所有必需库。

您可能还需要考虑使用Confluent Schema Registry容器来集中管理Avro数据。

NiFi已与注册表集成。 Kafka不在乎您向其发送Avro,只有客户端在乎数据的编码或解码方式

如果您只关心Kafka,Avro和Postgres,请尝试使用Kafka Connect的JDBC连接器,则无需管理NiFi

如果确实要在各自的群集设置中使用Nifi和Kafka,则它们都取决于Zookeeper实例

关于docker - 用于Docker Swarm中所有服务的基本镜像中的Avro ?? NiFi-> Kafka-> PostgreSQL,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49079893/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com