elasticsearch - 在Logstash和Spark Streaming之间使用Apache Kafka来获取日志数据到我的业务逻辑(在Spark中定义)是否正确？

Question

我正在使用Logstash将日志数据发送到AWS中的Elasticsearch Service。现在，我在Spark Streaming中定义了一些业务逻辑，希望将其实时应用于日志数据，因此我正在考虑在中间使用Amazon SQS或Apache Kafka。

在这种情况下使用Kafka是正确的吗？

谢谢。

Answer 1

答案取决于您是否要将解决方案与亚马逊产品相结合？但是是的，kafka非常适合这种用法。

实际上，Kafka现在已被用来代替Redis进入ELK堆栈。此外，Spark Streaming强烈依赖Kafka能够在发生故障时重播消息。

这取决于您的业务逻辑，但是如果您仅在插入Elasticsearch之前仅使用Spark Streaming过滤和转换数据，则应该看看KafkaStreams。

KafkaStreams提供了一种优雅的DSL(即Spark)，无需部署主/从节点即可处理您的kafka消息(转换，过滤器，聚合)。