solr - Apache Solr 能否处理 TB 大数据

Question

我是 apache solr 用户大约一年了。我使用 solr 作为简单的搜索工具，但现在我想使用 solr 处理 5TB 的数据。我假设当 solr 根据我使用的过滤器对其进行索引时，5TB 数据将是 7TB。然后我会每小时向同一个索引添加近 50MB 的数据。

1- 使用单个 solr 服务器处理 5TB 数据是否有任何问题。 (无碎片)

• a- solr 服务器能否在可接受的时间内回答查询

• b- 在 7TB 索引上提交 50MB 数据的预计时间是多少。

• c- 索引大小是否有上限。

2-您提供什么建议

• a- 我应该使用多少个分片

• b- 我应该使用 solr 核心

• c- 您提供的提交频率是多少。 (1小时即可)

3-这种大数据有没有测试结果

没有可用的 5TB 数据，我只是想估计一下结果。

注意:您可以假设硬件资源不是问题。

Answer 1

如果您的大小适用于文本，而不是二进制文件(其文本通常会少得多)，那么我认为您不能假装在一台机器上执行此操作。

这听起来很像Logly他们使用 SolrCloud 来处理如此大量的数据。

好吧，如果所有文档都是丰富的文档，那么索引的总文本大小将会小得多(对我来说，大约是起始大小的 7%)。不管怎样，即使数量减少了，我认为单个实例的数据仍然太多。