elasticsearch - 将大量数据索引到 Elasticsearch

Question

我是 elasticsearch 的新手并且拥有大量数据(mysql 表中超过 16k 大行)。我需要将这些数据推送到 elasticsearch 中，但在将其编入索引时遇到问题。有没有办法使索引数据更快？海量数据如何处理？

Answer 1

在 Bulk API 上展开

您将向 /_bulk 发出 POST 请求

您的负载将遵循以下格式，其中 \n 是换行符。

action_and_meta_data\n
optional_source\n
action_and_meta_data\n
optional_source\n
...

确保您的 json 打印不漂亮

可用的操作有索引、创建、更新和删除。

---

批量加载示例

回答您的问题，如果您只想将数据批量加载到索引中。

{ "create" : { "_index" : "test", "_type" : "type1", "_id" : "3" } }
{ "field1" : "value3" }

第一行包含操作和元数据。在这种情况下，我们调用 create。我们将插入一个 type1 类型的文档到名为 test 的索引中，并手动分配 id 为 3(而不是 elasticsearch 自动生成一个).

第二行包含映射中的所有字段，在本例中只是 field1，值为 value3。

您将尽可能多地连接到您的索引中。