elasticsearch - logstash输出twitter到elasticsearch-有多少个索引

Question

给定的logstash配置可以具有多个输入和输出
如果我在logstash上使用twitter输入，那么哪些考虑因素会决定存储在 Elasticsearch 中的索引的数量？

我应该为每个受监控的帐户分配1个索引，为每个标签或关键字分配1个索引，还是有其他因素会影响设计？

Answer 1

对于每个开放索引，elasticsearch中都有开销，因此它们每个都将消耗HEAP。

通常在索引中放置不止一种类型的文档(这就是[type]字段的作用)。请注意，在elasticsearch v2中，任何名称相同的字段都必须具有相同的映射(“myField”，如果是一种类型的字符串，则必须始终是字符串)。

碎片的大小上限建议为大约60GB IIRC。

最后，安排索引，以便轻松执行保留策略。如果将所有内容保存7天，则每日索引会很好。使用“curator”删除旧索引。

我更喜欢制作少量的大型索引。