logfile-analysis - 搜索巨大的日志文件

Question

故障排除、分析和过滤日志文件是迄今为止最费力的日常工作之一。我的问题是搜索一个日志文件，它的大小可能超过 4 个演出。简单地加载文件最多需要 15 分钟。我正在运行一个具有 8 演出内存的相当快的处理器。文件加载后，我实际上只能使用 grep 和/或 control+F 来扫描文件。当我试图查看来自多个系统的文件时，情况会变得更糟。曾尝试根据时间戳分离文件以使其更小，但真的没有乐趣。

是否有工具或什至一个过程可以用来减少故障排除的时间(除了通常的“先修复错误”)？

感谢您的评论。

Answer 1

你用什么加载它？ 4 gigs 是一个相当大的文件，但加载到内存中应该不会花那么长时间。

对于这么大的文件，我建议直接使用 grep，如果 grep 不适合你，SED 和 AWK 是你的 friend 。如果您想实时执行此操作，请了解如何将这些工具与管道和 tail -f 结合使用。 .

是的，我知道，SED 起初非常令人生畏。它也非常强大。学习它。

如果你在windows上，你有我的同情。我可以推荐一个unix shell吗？

如果您害怕命令行工具，请考虑学习 Perl 或 Python。他们都非常擅长从像这样的大文件中的噪声中分类信号。