Elasticsearch 聚合和过滤器

Question

嗨 friend 们，我正在尝试在我的网站上创建一个搜索栏。我有成千上万的公司文章。当我运行此代码时:

GET articles/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "multi_match": {
            "query": "assistant",
            "fields": ["title"]
          }
        }
      ]
    }
  },
  "size": 0,
  "aggs": {
    "by_company": {
      "terms": {
        "field": "company.keyword",
        "size": 10
      }
    }
  }
}

结果是:

"aggregations": {
"by_company": {
  "doc_count_error_upper_bound": 5,
  "sum_other_doc_count": 409,
  "buckets": [
    {
      "key": "University of Miami",
      "doc_count": 6
    },
    {
      "key": "Brigham & Women's Hospital(BWH)",
      "doc_count": 4
    },

所以现在我想过滤迈阿密大学的文章，所以我运行以下查询:

GET indeed_psql/job/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "multi_match": {
            "query": "assistant",
            "fields": ["title"]
          }
        }
      ],
      "filter": {
        "term": {
          "company.keyword": "University of Miami"
        }
      }
    }
  },
  "size": 0,
  "aggs": {
    "by_company": {
      "terms": {
        "field": "company.keyword",
        "size": 10
      }
    }
  }
}

但现在结果是:

"aggregations": {
    "by_company": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "University of Miami",
          "doc_count": 7
        }
      ]
    }

为什么在之前的聚合中是 6 时突然有 7 个？其他大学过滤器也会发生这种情况。我究竟做错了什么 ？我没有使用标准标记器，并且从过滤器中我使用english_stemmer、english_stopwords、english_keywords。谢谢你的帮助。

Answer 1

您的第一个查询文档计数可能是错误的。在您的第一个响应中，“doc_count_error_upper_bound”为 5，这意味着您返回的聚合中的某些术语没有作为每个底层查询分片中的顶级结果出现。文档计数总是太低而不是太高，因为它可能在查询分片的前 N ​​个键的过程中被“遗漏”。

你有多少碎片？例如，如果有 3 个分片，并且您的聚合大小为 3，并且您的文档分布是这样的:

分片 1 分片 2 分片 3
3 BYU 3 UMiami 3 UMiami
2 密歇根大学 2 BWH 2 密歇根大学
2 MGH 2 UMich 1 BWH
1 UMiami 1 MGH 1 BYU

您从每个分片中生成的前 3 个术语被合并到:

6 UMiami//返回
6 UMich//返回
3 BWH//返回
3 比尤
2 兆赫

从中只返回前三个结果。几乎所有这些键都被低估了。

您可以在这种情况下看到，Shard 1 中的 UMiami 文档不会考虑在内，因为它超出了 3 的深度。但是如果您过滤为仅查看 UMiami，则必然会拉回每个分片中的任何关联文档，并且最终得到准确的计数。

您可以使用 shard_size参数，以便 Elasticsearch 更深入地了解每个分片，从而获得更近似的计数。但是鉴于此方面总共有 7 个文档，很可能在您的一个分片上只出现一次，因此如果不获取该分片的所有文档，就很难在顶部聚合中显示它。

您可以阅读有关计数近似和误差推导的更多信息 here -- tldr，Elasticsearch 正在根据每个单独分片中的顶级聚合来猜测该方面的文档总数。