elasticsearch - Elasticsearch中时间序列数据的数据建模

Question

我们每天产生大约1GB的数据，其中包含大约200万个文档。我想将此数据存储在elasticsearch中。为了存储此信息，有不同的方法。

为每天创建一个索引(假设索引为test.22-02-2016)，并将每天的数据存储在索引中。

创建一个索引(名为test)，并为每个日期在索引下创建类型(如test / 22-02-2016)。

请建议我哪一个很好，为什么？除此之外，是否还有其他方法。

提前致谢。

Answer 1

如果创建单个索引，则必须预先确定要为其分配的主要分片数量(创建索引后就无法创建新分片)。主分片是定义索引容量的主要组件之一，因为每个分片都是消耗资源的Lucene索引，因此由于可用的RAM，硬盘，CPU等而受到物理限制。因此，您可以决定通过创建(例如)100个分片来计划足够的容量，但这是not a good idea。可以过度分配，但是不要过多。

要考虑的另一件事是，如果您在同一索引内创建多个类型，则它们将需要满足一些约束。即，如果您想在某个时候添加一个与相同类型的另一个字段冲突的新字段，则将无法执行此操作，唯一的解决方案是仍然创建一个新索引。

主要由于这两个原因(和a few others)，最好每天创建一个新索引。