java - 分析大文本文件

Question

我需要在运行时使用 Java 分析日志文件。

我需要的是，能够获取一个大文本文件，并在特定的行范围内搜索特定的字符串或正则表达式。

范围本身由另一次搜索推导出来。

例如，我想在文件中搜索字符串 "operation ended with failure"，而不是整个文件，只从 "starting operation".

当然我可以用普通的 InputStream 和文件读取来做到这一点，但是有没有库或工具可以帮助更方便地做到这一点？

Answer 1

如果文件真的很大，那么在你的情况下，无论是好的 java 还是任何 *nix 工具解决方案都几乎同样慢(它将绑定(bind)到 IO)。在这种情况下，你不会避免逐行阅读整个文件......在这种情况下，几行 java 代码就可以完成这项工作......但我会考虑而不是一次性搜索在生成时拆分文件，这可能会更有效率。您可以将日志文件重定向到另一个程序/脚本(awk 或 python 将是完美的选择)并在线/生成时而不是事后拆分文件。