performance - Logstash-JDBC 插件 : Importing millions of records from Oracle to ElasticSearch

Question

场景:- 我正在尝试将大型数据集从 Oracle DB(几百万条记录)导入 ElasticSearch。- 我能够使用 logstash jdbc 输入插件导入数据。

问题:- 需要很长时间(5 小时)才能完成。

• 有没有更好的解决方案来减少这个时间？ 这种情况下的良好做法？

Answer 1

您可以先使用 jdbc_fetch_size，下一步将在多个节点上运行导入，对于每个节点，将 sql 查询拆分为不重叠的集合，例如 select * from XX where id between 0和 1000000。

您还可以在索引 big bulk 之前将 ES 索引副本数设置为 0，然后再将其改回。当然，还可以使用具有良好批量大小和并行性的批量索引 API。