elasticsearch - 如何让Elasticsearch忽略char_filter清空的术语？

Question

我已经索引了一组美国街道地址。源数据不完美，有时字段包含垃圾。具体来说，我有zip5和zip4字段，以及一个去除所有非数字字符的pattern_replace char_filter。当该char_filter最终替换了所有内容(产生一个空字符串)时，匹配似乎仍在查看该字段。如果原始字段只是一个空字符串(而不是null)，则会发生相同的情况。我如何设置它，使其只忽略空字符串的字段(按源还是按char_filter的结果)？

例

首先，让我们创建一个带有digits_only模式替换器和使用它的分析器的索引:

curl -XPUT "http://localhost:9200/address_bug" -d'
{
  "settings": {
    "index": {
      "number_of_shards": "4",
      "number_of_replicas": "1"
    },
    "analysis": {
      "char_filter" : {
        "digits_only" : {
          "type" : "pattern_replace",
          "pattern" : "([^0-9])",
          "replacement" : ""
        }
      },
      "analyzer" : {
        "zip" : {
          "type" : "custom",
          "tokenizer" : "keyword",
          "char_filter" : [
            "digits_only"
          ]
        }
      }
    }
  }
}'

现在，让我们创建一个使用分析器的映射(注意:我正在使用 with_positions_offsets突出显示):

curl -XPUT "http://localhost:9200/address_bug/_mapping/address" -d'
{
  "address": {
    "properties": {
      "zip5": {
        "type" : "string",
        "analyzer" : "zip",
        "term_vector" : "with_positions_offsets"
      },
      "zip4": {
        "type" : "string",
        "analyzer" : "zip",
        "term_vector" : "with_positions_offsets"
      }
    }
  }
}'

现在我们已经建立了索引和类型，让​​我们对一些不完美的数据建立索引:

curl -XPUT "http://localhost:9200/address_bug/address/1234" -d'
{
  "zip5" : "02144",
  "zip4" : "ABCD"
}'

好吧，让我们搜索它，并要求它使用 explain本身。在这种情况下，搜索词是Street，因为在我的实际应用程序中，我只有一个字段用于完整地址搜索。

curl -XGET "http://localhost:9200/address_bug/address/_search?explain" -d'
{
  "query": {
    "match": {
      "zip4": "Street"
    }
  }
}'

而且，这是 结果中有趣的部分:

"_explanation": {
   "value": 0.30685282,
   "description": "weight(zip4: in 0) [PerFieldSimilarity], result of:",
   "details": [
      {
         "value": 0.30685282,
         "description": "fieldWeight in 0, product of:",
         "details": [
            {
               "value": 1,
               "description": "tf(freq=1.0), with freq of:",
               "details": [
                  {
                     "value": 1,
                     "description": "termFreq=1.0"
                  }
               ]
            },
            {
               "value": 0.30685282,
               "description": "idf(docFreq=1, maxDocs=1)"
            },
            {
               "value": 1,
               "description": "fieldNorm(doc=0)"
            }
         ]
      }
   ]
}

(完整响应为 in this gist。)

预期结果

我不会期待任何成功。如果我改为使用 "zip4" : null为文档建立索引，则会产生预期的结果:没有命中。

救命？我在这里甚至采用正确的方法吗？在我的完整应用程序中，我对 phone字段使用了相同的技术，并且怀疑结果会有相同的问题。

Answer 1

如@plmaheu所述，您可以使用停止 token 过滤器完全删除
空字符串，例如，这是我测试过的配置
作品:

POST /myindex
{
  "settings": {
    "analysis": {
      "char_filter" : {
        "digits_only" : {
          "type" : "pattern_replace",
          "pattern" : "[^0-9]+",
          "replacement" : ""
        }
      },
      "filter": {
        "remove_empty": {
          "type": "stop",
          "stopwords": [""]
        }
      },
      "analyzer" : {
        "zip" : {
          "type" : "custom",
          "tokenizer" : "keyword",
          "char_filter" : [
            "digits_only"
          ],
          "filter": ["remove_empty"]
        }
      }
    }
  },
  "mappings": {
    "doc": {
      "properties": {
        "zip": {
          "type": "string",
          "analyzer": "zip"
        }
      }
    }
  }
}

如果您使用分析，则 remove_empty过滤器会删除停用词“”
字符串“abcd”上的API，您将获得响应 {"tokens":[]}，因此没有
如果邮政编码完全无效，则会为 token 编制索引。

在搜索“foo”时，我也测试了该方法，未找到结果。