java - 解析 Tomcat 日志文件

Question

大家好， 我大约一周以来一直在尝试这样做。但想不出办法。我与 tomcats 合作，我的客户定期向我发送 2 到 3GB 的日志文件，说明存在找不到文件等问题。有时他们没有正确的信息来 grep 日志文件。所以我决定构建一个可以解析所有日志文件并可以相应地对日志进行分类的工具。 现在我无法在内存中存储 4 GB 的数据，也无法将其放回到文件中，因为读取 4 GB 会花费很多时间。即使我使用文件 channel 和线程。数据库当然不是一个选择，因为它会再次减慢系统速度。所以我想知道是否有其他方法来存储解析的内容，以便每当我想检查 404 错误时，我必须在列表中获取所有 404 错误。

我不想使用数据库。所以数据库肯定不是这个问题的答案。

Answer 1

是否“您想使用数据库”并不重要。您所做的本质上是构建数据图。这就是数据库的设计目的。现在，您可以选择使用其他人编写的并经过广泛测试的版本，也可以选择自己推出。无论哪种方式，无论您愿意与否，您都在使用数据库。

如果您想要一个轻量级、可嵌入、性能良好、能够与 Maven 良好配合的文档/图形“无 SQL”数据库，OrientDB 是您的 friend ，并且使用它非常直观。另外，您可以根据需要选择是使用内存数据库、文件支持数据库还是更传统的客户端/服务器解决方案。最好的部分是它有一个对象抽象层，因此您甚至不必费力使用 ORM 框架。

你真的应该尝试一下。它会让你所有的痛苦消失。

链接:http://www.orientdb.org/