gpt4 book ai didi

logging - 实时日志处理和警报生成

转载 作者:行者123 更新时间:2023-12-02 01:08:24 24 4
gpt4 key购买 nike

假设我有一个连续的日志条目流(例如防火墙日志),我需要一个能够处理事件流并对它进行一些实时计算的工具(例如计算来自不同 IP 的访问次数地址超过一个时间窗口 - 比如 10 分钟)并在满足某些条件时触发警报(例如访问次数 > 100)。

我知道 Storm Project , InfluxDB , OpenTSDB , KairosDB , 但除了 Strom 它们看起来不像是为这种处理而设计的工具。我的问题是是否有人知道更适合此类工作的工具。

最佳答案

您可以将您的消息(日志条目)提供给 Kafka排队并与它集成 Storm , Storm 和卡夫卡之间有一个很好的集成称为KafkaSpout这是一个从 Kafka 集群读取的 spout。

要在一段时间内进行实时处理,您可以查看 Esper这通常是一个复杂的事件处理单元(CEP)。正如您提到的那样,对于进行事件流处理应该非常有用。

可以找到strom和esper之间的集成here .
还有一个基本的Esper实现示例

关于logging - 实时日志处理和警报生成,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19831178/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com