apache-kafka - 你用 Apache Kafka 做什么？

Question

关闭。这个问题需要更多 focused .它目前不接受答案。












想改进这个问题？更新问题，使其仅关注一个问题 editing this post .

2年前关闭。




Improve this question




请问我对Kafka的理解是否正确。

对于真正的大数据流，传统的数据库是不够的，所以人们使用诸如 Hadoop 或 Storm 之类的东西。 Kafka 位于上述数据库之上，并提供......实时数据应该去向的方向？

Answer 1

我不这么认为。

卡夫卡 是消息系统，它不位于数据库之上。

您可以比较卡夫卡 使用消息系统，如 事件MQ , 兔MQ 等等

来自 Apache 文档 page

Kafka is a distributed, partitioned, replicated commit log service. It provides the functionality of a messaging system, but with a unique design.

要点:

Kafka 在称为主题的类别中维护消息提要。

我们将调用向 Kafka 主题生产者发布消息的进程。

我们将调用订阅主题的进程并处理已发布消息消费者的提要。

Kafka 作为一个集群运行，由一个或多个服务器组成，每个服务器称为代理。

客户端和服务器之间的通信是通过简单、高性能、语言无关的 TCP 协议(protocol)完成的。

用例:

留言 :Kafka 可以很好地替代更传统的消息代理。在这个领域，Kafka 可与 ActiveMQ 或 RabbitMQ 等传统消息传递系统相媲美

网站事件跟踪: Kafka 的原始用例是能够将用户事件跟踪管道重建为一组实时发布-订阅源

指标 :Kafka 经常用于运营监控数据，这涉及聚合来自分布式应用程序的统计数据以生成运营数据的集中提要

日志聚合

流处理

事件溯源 是一种应用程序设计风格，其中状态更改被记录为按时间排序的记录序列。

提交日志 : Kafka 可以作为分布式系统的一种外部提交日志。日志有助于在节点之间复制数据，并充当故障节点恢复其数据的重新同步机制