elasticsearch - 如何将唯一的列数据插入elasticsearch？

Question

我有一个网络爬虫，可抓取公司名称和公司联系电话，并插入到ElasticSearch中

问题是我点而不是想要重复的电话号码插入列

无论如何，我可以在Elasticsearch内部实现这一目标吗？

如果没有，是否有比以下步骤更好的解决方案

Fetch Record -> Check for Duplicate phone number -> Insert

Answer 1

为此，您需要一个unique token 过滤器:https://www.elastic.co/guide/en/elasticsearch/reference/1.6/analysis-unique-tokenfilter.html

如果电话号码放在一个文档的同一字段中，则创建一个 token 生成器，该 token 生成器应将每个电话号码作为 token 输出。

并且为此 token 生成器定义一个唯一类型的过滤器，该过滤器将保留唯一 token 。这些线周围的东西:

  "analyzer": {
    "numbers": {
      "tokenizer": "[whatever]",
      "filter": [
        ...,
        "unique"
      ]
    }
  }