java - 在 java 中使用正则表达式过滤日志

Question

描述比较长，还请大家多多包涵:
我的日志文件大小从 300 mb 到 1.5 Gb 不等，需要根据搜索键对其进行过滤。

日志的格式是这样的:

24 May 2017 17:00:06,827 [INFO] 123456 (Blah : Blah1) Service-name:: Single line content
24 May 2017 17:00:06,828 [INFO] 567890 (Blah : Blah1) Service-name:: Content( May span multiple lines)
24 May 2017 17:00:06,829 [INFO] 123456 (Blah : Blah2) Service-name: Multiple line content. Printing Object[ ID1=fac-adasd ID2=123231
ID3=123108 Status=Unknown
Code=530007 Dest=CA
]
24 May 2017 17:00:06,830 [INFO] 123456 (Blah : Blah1) Service-name:: Single line content
4 May 2017 17:00:06,831 [INFO] 567890 (Blah : Blah2) Service-name:: Content( May span multiple lines)

鉴于搜索键 123456，我需要获取以下内容:

24 May 2017 17:00:06,827 [INFO] 123456 (Blah : Blah1) Service-name:: Single line content
24 May 2017 17:00:06,829 [INFO] 123456 (Blah : Blah2) Service-name: Multiple line content. Printing Object[ ID1=fac-adasd ID2=123231
ID3=123108 Status=Unknown
Code=530007 Dest=CA
]
24 May 2017 17:00:06,830 [INFO] 123456 (Blah : Blah1) Service-name:: Single line content

以下 awk 脚本完成了我的工作(非常缓慢):

gawk '/([0-9]{1}|[0-9]{2})\s\w+\s[0-9]{4}/{n=0}/123456/{n=1} n'

搜索 1 GB 大小的日志文件大约需要 8 分钟。我需要为许多此类文件执行此操作。最重要的是，我有多个这样的搜索键，这使得整个任务有点不可能。

我最初的解决方案是使用多线程。我用了一个fixedThreadPoolExecutor，为每个需要过滤的文件提交一个task。在任务描述中，我使用 java 的 Runtime() 生成了新进程，它将使用 bash 执行 gawk 脚本并将输出写入文件，然后合并所有文件。

虽然这似乎是一个糟糕的方法，因为过滤依赖于 I/O 而不是 CPU，但与按顺序在每个文件上执行脚本相比，它确实给了我一个加速。

但这仍然不够，因为整个过程需要 2 小时，对于单个搜索键，以及 27gb 的日志文件。平均而言，我有 4 个这样的搜索键，需要获取它们的所有结果并将它们放在一起。

我的方法效率不高，因为:

A) 当给定多个搜索键时，它会多次访问每个日志文件，并导致更多的 I/O 开销。
B) 它会产生在每个线程内创建进程的开销。

所有这一切的一个简单解决方案是摆脱 awk 并使用一些正则表达式库在 java 中完成整个事情。这里的问题是可以为我提供所需输出的正则表达式库是什么？
使用 awk，我有 /filter/{action} 属性，它允许我指定要捕获的多行范围(如上所示)。我怎样才能在 java 中做同样的事情？

我愿意接受各种建议。例如，一个极端的选择是将日志文件存储在像 S3 这样的共享文件系统中，并使用多台计算机处理输出。

我是 stackoverflow 的新手，我什至不知道我是否可以在这里发布这个。但过去一周我一直在研究这个问题，我需要有专业知识的人来指导我。提前致谢。

Answer 1

您有几个选择。

在我看来，最好的办法是使用倒排字典。这意味着对于至少一个日志中存在的每个关键字 x，您存储对包含它的所有日志的引用。但是由于您已经在这项任务上花费了一周的时间，我建议您使用已经存在的东西并做到这一点:Elasticsearch .实际上，您可以使用完整的 ELK 堆栈(elasticsearch、logstash、kibana——主要为日志设计)来解析日志，因为您只需在配置文件中放置一个正则表达式即可。您只需要为文件编制索引一次，搜索速度将快至几毫秒。

如果实在想浪费精力，不求最佳方案，可以使用hadoop上的map-reduce来过滤log。但这不是 map-reduce 最佳的任务，它更像是 hack。