elasticsearch - 用于动态定义的正则表达式搜索的Elastic Search Analyzer

Question

我们在 flex 搜索索引中有很多文档，目前正在进行全文搜索。我在项目中的下一个要求是在文档中查找所有信用卡数据。用户将来也可以动态定义一些正则表达式搜索规则。但是，使用标准分析器无法搜索信用卡信息或任何用户定义的规则。
例如，假设一个文档包含信用卡信息，例如4321-4321-4321-4321或4321 4321 43214321。 flex 搜索将该数据分为4部分，如下所示:

  "tokens" : [
    {
      "token" : "4321",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "<NUM>",
      "position" : 0
    },
    {
      "token" : "4321",
      "start_offset" : 5,
      "end_offset" : 9,
      "type" : "<NUM>",
      "position" : 1
    },
    {
      "token" : "4321",
      "start_offset" : 10,
      "end_offset" : 14,
      "type" : "<NUM>",
      "position" : 2
    },
    {
      "token" : "4321",
      "start_offset" : 15,
      "end_offset" : 19,
      "type" : "<NUM>",
      "position" : 3
    }
  ]

我只是现在不考虑Luhm算法。如果我进行基本正则表达式搜索以查找带有reg exp“([[0-9] {4} [-]){3} [0-9] {4}”的信用卡，则不会返回任何内容，因为未分析数据并为此编制索引。我认为，为此，我需要为自定义表达式搜索定义一个自定义分析器，并将另一版本的数据存储在另一个字段或索引中。但是正如我之前所说，用户将定义自己的自定义规则模式进行搜索。我应该如何定义自定义分析仪？我应该为此定义ngram tokenizer(min:2，max:20)吗？我认为使用ngram tokenizer可以搜索所有定义的正则表达式规则。但这合理吗？项目必须处理大量数据，而没有任何性能问题。 (将对公司的整个文件系统建立索引)。对于这种类型的数据发现问题，您还有其他建议吗？我的主要目的是目前查找信用卡。感谢您的帮助。

Answer 1

好的，这是一对自定义分析器，可以帮助您检测信用卡号和社会保险号。随意调整自己认为合适的正则表达式(通过添加/删除将在数据中找到的其他字符分隔符)。

PUT test
{
  "settings": {
    "analysis": {
      "analyzer": {
        "card_analyzer": {
          "type": "custom",
          "tokenizer": "keyword",
          "filter": [
            "lowercase",
            "card_number"
          ]
        },
        "ssn_analyzer": {
          "type": "custom",
          "tokenizer": "keyword",
          "filter": [
            "lowercase",
            "social_number"
          ]
        }
      },
      "filter": {
        "card_number": {
          "type": "pattern_replace",
          "preserve_original": false,
          "pattern": """.*(\d{4})[\s\.\-]+(\d{4})[\s\.\-]+(\d{4})[\s\.\-]+(\d{4}).*""",
          "replacement": "$1$2$3$4"
        },
        "social_number": {
          "type": "pattern_replace",
          "preserve_original": false,
          "pattern": """.*(\d{3})[\s\.\-]+(\d{2})[\s\.\-]+(\d{4}).*""",
          "replacement": "$1$2$3"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "text": {
        "type": "text",
        "fields": {
          "card": {
            "type": "text",
            "analyzer": "card_analyzer"
          },
          "ssn": {
            "type": "text",
            "analyzer": "ssn_analyzer"
          }
        }
      }
    }
  }
}

让我们测试一下。

POST test/_analyze
{
  "analyzer": "card_analyzer",
  "text": "Mr XYZ whose SSN is 442-23-1452 has a credit card whose number was 3526 4728 4723 6374"
}

将产生一个很好的仅数字的信用卡号:

{
  "tokens" : [
    {
      "token" : "3526472847236374",
      "start_offset" : 0,
      "end_offset" : 86,
      "type" : "word",
      "position" : 0
    }
  ]
}

对于SSN同样:

POST test/_analyze
{
  "analyzer": "ssn_analyzer",
  "text": "Mr XYZ whose SSN is 442-23-1452 has a credit card whose number was 3526 4728 4723 6374"
}

将产生一个很好的仅数字的社会保险号:

{
  "tokens" : [
    {
      "token" : "442231452",
      "start_offset" : 0,
      "end_offset" : 86,
      "type" : "word",
      "position" : 0
    }
  ]
}

现在我们可以搜索信用卡或SSN。假设我们有以下两个文档。 SSN和信用卡号相同，但是使用不同的字符分隔符

POST test/_doc
{ "text": "Mr XYZ whose SSN is 442-23-1452 has a credit card whose number was 3526 4728 4723 6374" }

POST test/_doc
{ "text": "SSN is 442.23.1452 belongs to Mr. XYZ. He paid $20 via credit card number 3526-4728-4723-6374" }

现在，您可以通过查找任何格式的信用卡号和/或SSN来查找两个文档:

POST test/_search 
{
  "query": {
    "match": {
      "text.card": "3526 4728 4723 6374"
    }
  }
}

POST test/_search 
{
  "query": {
    "match": {
      "text.card": "3526 4728 4723-6374"
    }
  }
}

POST test/_search 
{
  "query": {
    "match": {
      "text.ssn": "442 23-1452"
    }
  }
}

以上所有查询将匹配并返回两个文档。