elasticsearch - Elasticsearch:invalid_argument_exception-无法通过弹性转储批量插入

Question

从数据库中提取了23000条记录，并将其格式化为JSON。我需要将每个文档作为文档插入Elasticsearch和autocomplete_entities索引中。输入文件如下所示

[
    {
        "id" : 1,
        "title" : "x"
    },
    {
        "id" : 2,
        "title" : "y"
    },
    ...
]

这是我正在使用的bash代码

elasticdump --input=PycharmProjects/untitled/vendors.json --output=http://localhost:9200 /autocomplete_entities/_doc --type=data --transform="doc._source=Object.assign({},doc)" --limit=1000

我从 this link获得了这段代码。运行代码后，我收到此错误:

Thu, 01 Oct 2020 10:57:34 GMT | starting dump
Thu, 01 Oct 2020 10:57:34 GMT | Will modify documents using these scripts: doc._source=Object.assign({},doc)
Thu, 01 Oct 2020 10:57:35 GMT | got 1 objects from source file (offset: 0)
{ _index: 'autocomplete_entities',
_type: '_doc',
_id: 'bpnP43QB8j0CMKYkavN7',
status: 400,
error:
{ type: 'illegal_argument_exception',
    reason:
    'Limit of total fields [1000] in index [autocomplete_entities] has been exceeded' } }
Thu, 01 Oct 2020 10:57:41 GMT | sent 1 objects to destination elasticsearch, wrote 0
Thu, 01 Oct 2020 10:57:41 GMT | got 0 objects from source file (offset: 1)
Thu, 01 Oct 2020 10:57:41 GMT | Total Writes: 0
Thu, 01 Oct 2020 10:57:41 GMT | dump complete

Answer 1

在您的索引中，您越过了导致异常的1000个字段的限制，有关更多信息，请引用this ES文档，
您也可以更改此默认限制并解决此问题，尽管如果不希望这样做，请尝试解决此问题，因为索引中的1000个字段可能会导致性能和其他一些问题。
请求增加限制
PUT http:// localhost:9200 // _ settings

{
    "index.mapping.total_fields.limit" : 2000
}