elasticsearch - Elasticsearch批处理大小限制

Question

我有200个文档，每个文档每个1 MB。总计200MB，因此要使用批量处理一次将所有索引编入索引。

通过网络发送200MB太大了，elasticsearch无法处理吗？

Answer 1

通过网络发送200MB数据将花费很长时间，并且会使连接超时。您最好写一些可以同时包含5个并发线程的索引一次文档的内容。批量插入这么多数据并不会真正给您带来任何好处。

一般而言，1MB的数据约为500页文本。我会争辩说，太多的数据无法放入ES的单个记录中!我认为，除非您拥有很多功能，否则您将对性能感到失望，但这将是非常昂贵的。我建议研究制作更小的文档。