java - kafka vs 编年史队列 vs 破坏者

Question

任何人都可以在日志记录方面比较 kafka、编年史队列和破坏者之间的底层设计和性能？似乎 kafka 拥有大多数用户，但不要避免 GC。

Answer 1

我认为您可能对 Kafka 在日志管道中的使用方式感到困惑——通常它用于将日志从单个进程(本地磁盘)“传送”到 Elasticsearch 或 Splunk 等日志数据库，并且性能将达到 100K 的数量级单个机器的消息/秒，例如见 https://www.confluent.io/blog/kafka-fastest-messaging-system/ .您可能使用 Kafka 的原因是为了“保护”您的数据库免受突发事件的影响，例如https://logz.io/blog/deploying-kafka-with-elk/ .
Chronicle Queue 和 Disrupter 将用于简单地将日志写入本地磁盘，并且可以达到 10M 行/秒的数量级，例如见 https://grobmeier.solutions/log4j-2-performance-close-to-insane-20072013.html#.Ue02Z2RATzc .
您可能会进一步想知道，如果您只能发送 100K/s，那么将 10M 行/s 写入磁盘有什么意义。
原因是你可能只在发生不好的事情时(或者你正在调试)写入 10M 行/s 并且只写了很短的时间，所以如果你从磁盘读取到 Kafka 那么你的“阅读器”会落后但一旦爆发结束，最终可以 catch 。