regex - ElasticSearch 和 Regex 查询

Question

我正在尝试查询日期在“内容”字段正文中的文档。

curl -XGET 'http://localhost:9200/index/_search' -d '{
    "query": {
        "regexp": {
            "content": "^(0[1-9]|[12][0-9]|3[01])[- /.](0[1-9]|1[012])[- /.]((19|20)\\d\\d)$" 
            }
        }
    }'

也许越来越近？

curl -XGET 'http://localhost:9200/index/_search' -d '{
        "filtered": {
        "query": {
            "match_all": {}
        },
        "filter": {
            "regexp":{
                "content" : "^(0[1-9]|[12][0-9]|3[01])[- /.](0[1-9]|1[012])[- /.]((19|20)\\d\\d)$"
                }
            }
        }
    }'

我的正则表达式似乎已关闭。此正则表达式已在 regex101.com 上得到验证。以下查询仍然没有从我拥有的 175k 文档中返回任何内容。

curl -XPOST 'http://localhost:9200/index/_search?pretty=true' -d '{
        "query": {
            "regexp":{
                "content" : "/[0-9]{4}-[0-9]{2}-[0-9]{2}|[0-9]{2}-[0-9]{2}-[0-9]{4}|[0-9]{2}/[0-9]{2}/[0-9]{4}|[0-9]{4}/[0-9]{2}/[0-9]{2}/g"
            }
        }
    }'

我开始认为我的索引可能没有为这样的查询设置。您必须使用什么类型的字段才能使用正则表达式？

mappings: {
    doc: {
        properties: {
            content: {
                type: string
            }title: {
                type: string
            }host: {
                type: string
            }cache: {
                type: string
            }segment: {
                type: string
            }query: {
                properties: {
                    match_all: {
                        type: object
                    }
                }
            }digest: {
                type: string
            }boost: {
                type: string
            }tstamp: {
                format: dateOptionalTimetype: date
            }url: {
                type: string
            }fields: {
                type: string
            }anchor: {
                type: string
            }
        }
    }

我想找到任何有日期的记录，并绘制该日期的文档量图。第 1 步是使此查询正常工作。第 2 步将提取日期并相应地将它们分组。有人可以建议一种让第一部分正常工作的方法吗，因为我知道第二部分会非常棘手。

谢谢!

Answer 1

您应该阅读 Elasticsearch 的 Regexp Query documentation小心，您对正则表达式查询的工作方式做出了一些错误的假设。

可能这里最重要的是要了解您要匹配的字符串是什么。您正在尝试匹配字词，而不是整个字符串。如果这是用 StandardAnalyzer 编入索引，正如我所怀疑的那样，您的日期将被分成多个术语:

• “01/01/1901”成为标记“01”、“01”和“1901”
• “01 01 1901”成为标记“01”、“01”和“1901”
• “01-01-1901”成为标记“01”、“01”和“1901”
• “01.01.1901”实际上将是单个标记:“01.01.1901”(由于十进制处理，请参阅 UAX #29)

您只能使用正则表达式查询匹配单个完整标记。

Elasticsearch(和 lucene)不支持完整的 Perl 兼容正则表达式语法。

在前几个示例中，您使用了 anchor ^ 和 $。这些不受支持。您的正则表达式必须匹配整个 token 才能获得匹配，因此不需要 anchor 。

像 \d(或 \\d)这样的速记字符类也不被支持。代替 \\d\\d，使用 [0-9]{2}。

在您最后一次尝试中，您使用的是 /{regex}/g，这也是不受支持的。由于您的正则表达式需要匹配整个字符串，因此全局标志在上下文中甚至没有意义。除非您使用的查询解析器使用它们来表示正则表达式，否则您的正则表达式不应包含在斜线中。

(顺便说一句:这个是如何在 regex101 上验证的？你有一堆未转义的 /。当我尝试时它向我提示。)

---

为了在这样一个分析的字段上支持这种查询，您可能希望查看跨度查询，尤其是 Span Multiterm和 Span Near .也许是这样的:

{
    "span_near" : {
        "clauses" : [
            { "span_multi" : { 
                "match": {
                    "regexp": {"content": "0[1-9]|[12][0-9]|3[01]"}
                }
            }},
            { "span_multi" : { 
                "match": {
                    "regexp": {"content": "0[1-9]|1[012]"}
                }
            }},
            { "span_multi" : { 
                "match": {
                    "regexp": {"content": "(19|20)[0-9]{2}"} 
                }
            }}
        ],
        "slop" : 0,
        "in_order" : true
    }
}