ElasticSearch 将完整索引转储到 csv 文件

Question

是否可以在 .csv 文件(可能开箱即用)中轻松地导出整个索引(所有存储的字段)？

我能想到的另一种方法是查询整个索引，然后转换结果...但我真的不喜欢解析一个巨大的 json 的想法，因为它包含数百万个文档!

有没有其他的方法或者思路可以实现导出？

Answer 1

免责声明:我是 estab 的作者。

---

estab将 elasticsearch 字段导出为制表符分隔值。如果您没有太多字段，可以很容易地显式地全部导出它们。 estab 在内部使用扫描和滚动 API。

例子:

假设您的索引包含如下文档:

{
    "name": "Kiwi",
    "genus": "Apteryx",
    "populations": [
        {"location": "North Island", "size": 2500},
        {"location": "Little Barrier Island", "size": 2000}
    ]
}

然后您可以通过以下方式导出整个索引:

$ estab -f 'name genus populations.location populations.size'
Kiwi    Apteryx North Island|Little Barrier Island  2500|2000

请注意，嵌套字段不容易映射到表格形式。 estab 默认情况下用 | 分隔多个值，您可以通过通常的点表示法引用嵌套字段。