mysql - 将大型 sql 文件(每天 30 GB)导入到 elasticsearch 中的一个索引

Question

我每天都会生成 sql 转储(40 GB)，我想将此转储迁移到单个索引中的 elasticseach 例如:昨天的转储已转移到索引 1，今天的转储应该转移到同一索引(即索引1)，并且接下来几天的下一次转储也应该附加相同的索引(索引1)。

我的问题:在elasticsearch中，如何构建索引来存储每天生成的这些大型转储？

Answer 1

一般问题在于您的使用模式，每个分片应具有一定的大小(具体取决于用例，每个分片大约 10 到 50GB)。如果使用一个索引，这一目标将很难实现。

你想要的叫做 rollover index ，它基本上在达到特定条件后创建一个新索引 - 这可能适合您。并且有一个指向所有索引的别名，您可以轻松地在整个数据集中搜索。

还有最近的功能ILM使展期指数的管理变得更加简单，所以这就是我在这里要研究的内容。