gpt4 book ai didi

logging - 从 Amazon EC2 实例收集日志的好方法是什么?

转载 作者:行者123 更新时间:2023-12-02 01:35:20 25 4
gpt4 key购买 nike

我的应用程序托管在 Amazon EC2 集群上。每个实例将事件写入日志文件。我需要在每天结束时收集(和数据挖掘)这些日志。在中央位置收集这些日志的推荐方法是什么?我想了几种选择,不知道该走哪条路:

  1. 使用 cron 作业将它们发送到实例
  2. 通过 TCP/IP 将所有事件记录到实例

最佳答案

我们使用Logstash在每个主机上(通过 Puppet 部署)收集日志事件并将其发送到中央主机上的消息队列(RabbitMQ,但可以是 Redis)。另一个 Logstash 实例检索事件,处理它们并将结果填充到 ElasticSearch 。一个Kibana Web 界面用于搜索该数据库。

它的功能非常强大,可以轻松扩展并且非常灵活。 Logstash 有大量的过滤器来处理来自各种输入的事件,并且可以输出到许多服务,ElasticSearch 就是其中之一。目前,我们每天从 EC2 实例在轻型硬件上发送约 120 万个日志事件。在我们的设置中,日志事件从事件到可搜索的延迟约为 1 秒。

以下是有关此类设置的一些文档:https://www.elastic.co/guide/en/logstash/current/getting-started-with-logstash.html以及带有一些实时数据的 Kibana 搜索界面演示。

关于logging - 从 Amazon EC2 实例收集日志的好方法是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/1761609/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com