algorithm - 日志的快速文本搜索

Question

这是我遇到的问题，我有一组可以相当快地增长的日志。它们每天都被分成单独的文件，这些文件很容易增长到一个演出的大小。为了帮助减小大小，超过 30 天左右的条目将被清除。

问题是当我想在这些文件中搜索某个字符串时。现在，Boyer-Moore 搜索速度慢得令人难以置信。我知道像 dtSearch 这样的应用程序可以使用索引提供非常快速的搜索，但我不确定如何在不占用日志已占用空间两倍的情况下实现它。

是否有任何我可以查看的资源可以提供帮助？我真的在寻找一种标准算法，它可以解释我应该如何构建索引并使用它进行搜索。

编辑:
Grep 将不起作用，因为此搜索需要集成到跨平台应用程序中。我无法将任何外部程序纳入其中。

它的工作方式是有一个带有日志浏览器的网络前端。这与自定义 C++ Web 服务器后端对话。该服务器需要在合理的时间内搜索日志。目前搜索几千兆的日志需要很长时间。

编辑 2:其中一些建议很棒，但我必须重申，我不能集成另一个应用程序，这是契约(Contract)的一部分。但为了回答一些问题，日志中的数据不同于以医疗保健特定格式接收的消息或与这些相关的消息。我希望依靠索引，因为虽然重建索引可能需要一分钟，但搜索目前需要很长时间(我已经看到它最多需要 2.5 分钟)。此外，很多数据甚至在记录之前就被丢弃了。除非打开某些调试日志记录选项，否则超过一半的日志消息将被忽略。

搜索基本上是这样进行的:Web 表单上的用户会看到最新消息的列表(在他们滚动时从磁盘流式传输，是的，对于 ajax)，通常，他们会想要搜索消息其中的一些信息，可能是患者 ID，或者他们发送的一些字符串，因此他们可以将字符串输入到搜索中。搜索以异步方式发送，自定义 Web 服务器一次线性搜索 1MB 的日志以获取一些结果。当日志变大时，此过程可能需要很长时间。这就是我要优化的内容。

Answer 1

grep 通常对大日志(有时 12G+)非常适合我。您可以找到适用于 Windows 的版本 here