elasticsearch - 用于实时 BI 的 kafka 或 redis

Question

我正在从事一个实时商业智能项目，我正在使用弹性堆栈 spark 流和 kafka？但我想知道我是否可以使用 redis 而不是 kafka，因为 redis 似乎是内存中的野兽，可以实时转发数据，我很困惑有人可以帮助我选择正确的技术，我之前发布过在这里询问实时 BI 的架构，他们建议我下一个架构:LOgstash=>kafka=>spark streaming=>elasticsearch=>kibana谢谢你的回答

Answer 1

简而言之，如果数据很大，要复用数据，则应首先考虑Kafka，否则在以最小延迟处理实时消息处理时，您应该首先尝试 Redis。

您可以尝试 Redis，因为 Redis 可以支持生产 ELK(Elasticsearch、Logstash、Kibana)堆栈。Redis 是一个内存存储。这意味着它使用主内存进行存储和处理，这使得它比基于磁盘的 Kafka 快得多。 Redis 的内存存储的唯一问题是我们不能长时间存储大量数据。由于主内存比磁盘小，我们必须通过自动将数据从内存移动到磁盘并为新数据腾出空间来定期清除它。此外，Redis 没有像 Kafka 那样的并行概念，多个进程可以同时使用数据。

Redis 的架构——:logstash(shipper) ->redis <- logstash(indexer) ->elastic search -> kibana 。Redis 还具有缓冲功能，以防 logstash(索引器)出现故障。

要知道，如何将 redis 与 logstash 和 elastic 一起使用，这是很好的解释:- https://ianunruh.com/2014/05/monitor-everything-part-2.html

要收集有关 redis 与 kafka 的知识，您可以查看此链接:- https://logz.io/blog/kafka-vs-redis/ https://www.quora.com/What-are-the-advantages-of-Kafka-over-Redis-for-pub-sub