lucene - Splunk数据库

Question

我知道 Splunk 不需要 MySQL 数据库提供的大量功能，并且要对大数据进行索引和执行搜索，使用关系数据库可能不是一个好的选择。

Splunk 是否使用 Lucene 作为搜索引擎，或者他们是否制定了磁盘数据格式？

如果我提问的方式有任何问题，我很抱歉。这是我在 Stack Overflow 上的第一个问题。

Answer 1

Splunk 使用自己的搜索引擎，不基于任何第三方。

它的搜索引擎仅基于文件，背后没有数据库。它不存储字段，仅存储原始数据。这些字段是在搜索期间提取的，因此非常动态。它在数据中查找关键字的速度也非常快(大海捞针)。

1. 将数据分解为基于时间的事件，并为每个原始事件附加时间。
2. 标记事件中找到的每个单词及其在索引中的位置
3. 以压缩格式 (tar.gz) 存储事件

更详细地说，Splunk 通过以下方式存储数据:

1. 非常快速地搜索事件中的关键字
2. 查看原始数据
3. 在原始数据上创建新字段并将其与统计命令一起使用。

来源: http://www.splunk.com/web_assets/pdfs/secure/Splunk_for_BigData.pdf http://docs.splunk.com/Documentation/Splunk/6.5.1/Indexer/Howindexingworks

+3年经验Splunk 架构师。