distributed-computing - 大规模分布式系统中的日志文件

Question

我在网格和 HPC 领域做了很多工作，我们在分布在数百(或数千)服务器上的系统中面临的最大挑战之一是分析日志文件。

目前日志文件本地写入每个 Blade 上的磁盘，但我们也可以考虑使用例如 UDP Appender 发布日志信息并集中收集。

鉴于目标是能够尽可能接近实时地识别问题，我们应该怎么做？

Answer 1

首先，使用 NTP 同步系统中的所有时钟。

其次，如果您在单个位置收集日志(如您提到的 UDP 附加程序)，请确保日志有足够的信息来实际提供帮助。我将至少包括生成日志的服务器、发生的时间和消息。如果有任何类型的事务 id 或作业 id 类型概念，也包括在内。

既然您提到了 UDP Appender，我猜您正在使用 log4j(或它的 sibling 之一)。 Log4j 有一个 MDC 类，它允许通过处理线程传递额外的信息。它可以帮助收集一些额外的信息并将其传递出去。