elasticsearch - ElasticSearch在删除空格和特殊字符后查找所有重复项

Question

我们的 Elasticsearch 集群中大约有100,000个文档。我试图找到一个查询，以便我们可以根据某些字段找出重复的文档。
我可以运行此查询:

{
  "size": 0,
  "aggs": {
     "duplicateCount": {
        "terms": {
          "field": "name",
          "min_doc_count": 2
        },
        "aggs": {
          "duplicateDocuments": {
          "top_hits": {}
         }
     }
  }
}

但是我们的某些文件具有相似的值(value)。例如，两个不同的文档具有名称:“pawan”和名称:“paw-an”，我们希望将它们视为同一文档。我找不到任何说出replaceAll的方法，然后运行此查询。有什么办法吗？我们使用的是ElasticSearch 1.5，因此对于此类功能而言可能太旧了。谢谢。

对应:

{
  "mappings":{
            "employeeinfo":{
                        "_all" : {"enabled" : true},
                        "properties":{
                                    "name":{
                                              “type":"string"
                                    },
                                    "age":{
                                                "type":"long"
                                    }
                        }
            }
 }
}

问候，
wan

Answer 1

可以使用script in your terms aggregation代替字段名:

{
  "size": 0,
  "aggs": {
     "duplicateCount": {
        "terms": {
          "script": "_source.name.replaceAll('-', '')",
          "min_doc_count": 2
        },
        "aggs": {
          "duplicateDocuments": {
          "top_hits": {}
         }
     }
  }
}