elasticsearch - Elasticsearch查询结果导出到CSV/Excel文件

Question

我们在ES集群中索引了数十亿条记录，每个文档将包含诸如帐户ID，交易ID，用户名等字段(少量自由文本字符串数据字段)

我的应用程序将根据一些用户搜索参数(例如，用户在X和Y日期之间的“A”返回交易以及其他一些过滤条件)查询ES，我想将响应数据存储/导出到csv / excel文件。

对于我的用例，从ES返回的文档数可能在数十万或数百万个中，我的问题是从ES导出“大量”数据的各种方式是什么？

这些请求是“实时”请求，而不是批处理(例如，请求的用户正在等待创建导出文件)。

我阅读了有关分页(大小/从)和滚动方法的信息，但不确定这些是否是从ES导出大型数据集的最佳方法。 (如果我正确阅读，size / from方法的最大设置为10K，对于实时用例，不建议使用滚动选项)。

想从专家那里了解。

Answer 1

如果您的用户需要导出大量数据，则需要教育他们不要期望实时导出(为了您的其他用户和系统的福祉)。

那绝对是一个批处理工作。用户通过您的UI触发导出，然后某些过程将唤醒并异步进行。完成后，您通知用户可以在某个位置下载导出文件，或者通过电子邮件发送文件。

仅举一个例子，当您想从Twitter导出数据时，会触发一个请求，稍后您会收到通知(即使您的帐户中只有几条推文)也已导出数据。

如果您决定以这种方式进行操作，那么什么也不会阻止您使用扫描/滚动方法。