elasticsearch - 在Elasticsearch中插入大型事件失败

Question

将大型事件插入Elasticsearch时，会收到错误消息:

java.lang.IllegalArgumentException: Document contains at least one immense term in field="_all" (whose UTF8 encoding is longer than the max length 32766), all of which were skipped.  Please correct the analyzer to not produce such terms.  The prefix of the first immense term is: '[<skipped>]...', original message: bytes can be at most 32766 in length; got 53021

我使用关键字分析器，因为我不希望ES将字段拆分为单独的标记，所以这是我的索引定义:

{
      "index" : {
          "analysis" : {
              "analyzer" : {
                  "default" : {
                      "type" : "keyword"
                  }
              }
          }
      }
  }

如何使ES接受大型事件，但仍将关键字分析器作为默认值？

Answer 1

默认情况下，所有字段值都添加到_all-field中，并且由于该字段还使用关键字分析器，因此该字段将包含一个大小为50kB的 token ，该 token 超出了限制。该限制似乎不是可配置的。

一种解决方案是为该字段指定其他分析器:

  curl -XPUT ${ES_HOST}:${ES_PORT}/${ES_INDEX}/${ES_TYPE}/_mapping  -d "
  {
      "${ES_TYPE}": {
          "_all\: { "analyzer": "standard" }
      }
  }"