elasticsearch - 按标志过滤文档的最快方法是什么？-6ren

elasticsearch - 按标志过滤文档的最快方法是什么？

转载作者：行者123 更新时间：2023-12-03 01:37:39

我的索引中的文档可以有不同的预过滤标志，例如INVALID , PRIVATE等。每个标志都涵盖文档的不同方面，因此它们彼此不相关，即它们实际上是 bool 值。

目标:在运行评分查询之前找到过滤这些文档的最快方法。

选项:

为每个标志创建一个字段为 Boolean Field ，因此可以通过 true 或 false

过滤它们

为每个标志创建一个字段为 Keyword Field ，因此可以通过 Exists Query 过滤它们如果条目有值或为 NULL。

为所有标志创建一个字段为Text Field ，因此可以通过常规 Match Query 过滤它们

任何其他我没有想到的方法。

感谢您的任何建议!

最佳答案

所以，我对此进行了测试并得到了以下结果:

TL;DR: 如果您需要一次查询多个标志，请使用 bool 字段作为标志。如果您只需要查询一个标志值，则使用您喜欢的任何值。

索引中的文档:10.000.000

标志字段:

nullFlag ，可能的值:null或 "exists" ，查询:Exists Query

booleanFlag ，可能的值:true或 false ，查询:Term Query

textFlag ，可能的值:VALID , INVALID , DUMMY_FLAG1 , DUMMY_FLAG2或 DUMMY_FLAG3 ，查询:Match Query

备注:

所有用于测试的标志都均匀分布，~50/50。总是出现“虚拟标志”以使该字段更加“现实”。

节点查询缓存已通过 index.queries.cache.enabled: false 禁用.

由于 JVM 启动，首次运行可能会较慢。我确认查询缓存已禁用。

查询由 native Java QueryBuilder 提供，忽略 adjust_pure_negative和 boost .

我不知道查询是最优的还是正确的。

结果:

Exists Query似乎是最慢的

通过 Term Query 过滤 bool 值并通过 Match Query 检查文本标志似乎没有什么不同，中频您只过滤一个标志。

如果要过滤多个标志，则 bool 值通过 Term Query更快。

我不知道查询是最优的还是正确的。

测试:

booleanFlag - 词条查询

询问:

{
  "bool" : {
    "filter" : [
      {
        "term" : {
          "booleanFlag" : {
            "value" : true,
            "boost" : 1.0
          }
        }
      }
    ],
    "adjust_pure_negative" : true,
    "boost" : 1.0
  }
}

结果:

Run   |     Time |       Hits
1     |     91ms |    4998613
2     |     45ms |    4998613
3     |     46ms |    4998613
4     |     45ms |    4998613
5     |     45ms |    4998613

询问:

{
  "bool" : {
    "filter" : [
      {
        "term" : {
          "booleanFlag" : {
            "value" : false,
            "boost" : 1.0
          }
        }
      }
    ],
    "adjust_pure_negative" : true,
    "boost" : 1.0
  }
}

结果:

Run   |     Time |       Hits
1     |     97ms |    5001387
2     |     45ms |    5001387
3     |     45ms |    5001387
4     |     48ms |    5001387
5     |     45ms |    5001387

nullFlag - 存在查询

询问:

{
  "bool" : {
    "filter" : [
      {
        "bool" : {
          "must" : [
            {
              "exists" : {
                "field" : "nullFlag",
                "boost" : 1.0
              }
            }
          ],
          "adjust_pure_negative" : true,
          "boost" : 1.0
        }
      }
    ],
    "adjust_pure_negative" : true,
    "boost" : 1.0
  }
}

结果:

Run   |     Time |       Hits
1     |     99ms |    4999305
2     |     53ms |    4999305
3     |     53ms |    4999305
4     |     53ms |    4999305
5     |     54ms |    4999305

询问:

{
  "bool" : {
    "filter" : [
      {
        "bool" : {
          "must_not" : [
            {
              "exists" : {
                "field" : "nullFlag",
                "boost" : 1.0
              }
            }
          ],
          "adjust_pure_negative" : true,
          "boost" : 1.0
        }
      }
    ],
    "adjust_pure_negative" : true,
    "boost" : 1.0
  }
}

结果:

Run   |     Time |       Hits
1     |    145ms |    5000695
2     |    107ms |    5000695
3     |    104ms |    5000695
4     |    104ms |    5000695
5     |    107ms |    5000695

textFlag - 匹配查询

询问:

{
  "bool" : {
    "filter" : [
      {
        "match" : {
          "textFlag" : {
            "query" : "VALID",
            "operator" : "OR",
            "prefix_length" : 0,
            "max_expansions" : 50,
            "fuzzy_transpositions" : true,
            "lenient" : false,
            "zero_terms_query" : "NONE",
            "auto_generate_synonyms_phrase_query" : true,
            "boost" : 1.0
          }
        }
      }
    ],
    "adjust_pure_negative" : true,
    "boost" : 1.0
  }
}

结果:

Run   |     Time |       Hits
1     |     87ms |    4998937
2     |     43ms |    4998937
3     |     44ms |    4998937
4     |     43ms |    4998937
5     |     42ms |    4998937

询问:

{
  "bool" : {
    "filter" : [
      {
        "match" : {
          "textFlag" : {
            "query" : "INVALID",
            "operator" : "OR",
            "prefix_length" : 0,
            "max_expansions" : 50,
            "fuzzy_transpositions" : true,
            "lenient" : false,
            "zero_terms_query" : "NONE",
            "auto_generate_synonyms_phrase_query" : true,
            "boost" : 1.0
          }
        }
      }
    ],
    "adjust_pure_negative" : true,
    "boost" : 1.0
  }
}

结果:

Run   |     Time |       Hits
1     |     89ms |    5001063
2     |     48ms |    5001063
3     |     43ms |    5001063
4     |     43ms |    5001063
5     |     43ms |    5001063

----- 使用多个标志进行测试 ------

textFlag - 使用 2 个标志匹配查询

询问:

{
  "bool" : {
    "filter" : [
      {
        "match" : {
          "textFlag" : {
            "query" : "VALID DUMMY_FLAG1",
            "operator" : "OR",
            "prefix_length" : 0,
            "max_expansions" : 50,
            "fuzzy_transpositions" : true,
            "lenient" : false,
            "zero_terms_query" : "NONE",
            "auto_generate_synonyms_phrase_query" : true,
            "boost" : 1.0
          }
        }
      }
    ],
    "adjust_pure_negative" : true,
    "boost" : 1.0
  }
}

结果:

Run   |     Time |       Hits
1     |    151ms |   10000000
2     |    105ms |   10000000
3     |    106ms |   10000000
4     |    105ms |   10000000
5     |    107ms |   10000000

booleanFlag - 带有 2 个标志的术语查询

询问:

{
  "bool" : {
    "filter" : [
      {
        "term" : {
          "booleanFlagOne" : {
            "value" : true,
            "boost" : 1.0
          }
        }
      },
      {
        "term" : {
          "booleanFlagTwo" : {
            "value" : false,
            "boost" : 1.0
          }
        }
      }
    ],
    "adjust_pure_negative" : true,
    "boost" : 1.0
  }
}

结果:

Run   |     Time |       Hits
1     |    138ms |    2500645
2     |     84ms |    2500645
3     |     84ms |    2500645
4     |     83ms |    2500645
5     |     86ms |    2500645

----- 更多测试 ------

nullFlag - 存在查询(没有不必要的双 bool 查询)

询问:

{
  "bool" : {
    "filter" : [
      {
        "exists" : {
          "field" : "nullFlag",
          "boost" : 1.0
        }
      }
    ],
    "adjust_pure_negative" : true,
    "boost" : 1.0
  }
}

结果:

Run   |     Time |       Hits
1     |     93ms |    5000779
2     |     42ms |    5000779
3     |     43ms |    5000779
4     |     42ms |    5000779
5     |     44ms |    5000779

询问:

{
  "bool" : {
    "must" : [
      {
        "exists" : {
          "field" : "nullFlag",
          "boost" : 1.0
        }
      }
    ],
    "adjust_pure_negative" : true,
    "boost" : 1.0
  }
}

结果:

Run   |     Time |       Hits
1     |     88ms |    5000779
2     |     43ms |    5000779
3     |     42ms |    5000779
4     |     43ms |    5000779
5     |     42ms |    5000779

询问:

{
  "bool" : {
    "must_not" : [
      {
        "exists" : {
          "field" : "nullFlag",
          "boost" : 1.0
        }
      }
    ],
    "adjust_pure_negative" : true,
    "boost" : 1.0
  }
}

结果:

Run   |     Time |       Hits
1     |    139ms |    4999221
2     |     96ms |    4999221
3     |     98ms |    4999221
4     |     95ms |    4999221
5     |     94ms |    4999221

关于elasticsearch - 按标志过滤文档的最快方法是什么？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/51075874/

文章推荐： javascript - 用jQuery获取声卡的输入声音

文章推荐： azure - 无法通过点到站点 VPN 连接连接到 azure SQL

文章推荐： json - azure 中带有点/句点的嵌套 JSON 路径

文章推荐： c# - UWP MediaPlayerElement播放音频两次

安卓颜色，最快？
什么是更快的安卓？ Color.rgb(184, 134, 011); 或 Color.parseColor("#234181"); 还是别的什么？答案:最快的似乎是: int mycolor =
PHP 计算到用户的最短路线(最快？)
没错，基本上我需要计算出从服务器到最终用户的最短路线。我有 2 台服务器 - 一台在英国，一台在美国。我需要根据最终用户的位置确定从哪个服务器加载内容。我最初想使用 fsock/curl/fgc
c++ - 最快/最小的有符号整数类型
我正在阅读固定宽度整数类型 ( cpp reference) 并遇到int_fast8_t、int_fast16_t、int_fast32_t 和 int_least8_t 类型，int_least1
c++ - 最快/最好的方法来对数据库中的数据进行序列化和反序列化
Closed. This question is opinion-based。它当前不接受答案。想改善这个问题吗？更新问题，以便editing this post用事实和引用来回答。 6年前关闭。
c# - *最快*目录列表
我有大量目录，我想尽快读取所有文件。我的意思是，不是 DirectoryInfo.GetFiles 快，而是“get-clusters-from-disk-low-level”快。当然，.NET 2
python - 最快，最紧凑的方法来获得最小的数字，该数字可被1到n整除
我尝试寻找最小的可被1到n整除的数字，现在我正在寻求有关进一步压缩/使我的解决方案更有效的方法的建议。如果也有O(1)解决方案，那将非常酷。 def get_smallest_number(n):
java - 我应该使用哪种方法(最快)来选择元素？
有很多不同的方法可以在驱动程序之间选择元素。我想知道哪一个最快且最适合 native 应用程序(iOS 和 Android)。 Appium Driver 类有: findElementByAcces
python - angularjs 最快/最简单的后端？
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。要求我们推荐或查找工具、库或最喜欢的场外资源的问题对于 Stack Overflow 来说是偏离主题的，
performance - 在matlab中对矩阵元素求和的有效(最快)方法
让矩阵 A 说 A = magic(100);。我见过两种计算矩阵 A 的所有元素之和的方法。 sumOfA = sum(sum(A)); 或者 sumOfA = sum(A(:)); 其中一个比另一
algorithm - 两点之间的最佳(最快)轨迹
我想为玩具车在没有障碍物的平面 (2d) 上规划一条路线。玩具车应该从点 (p1x,p1y) 移动到 (p2x,p2y)(又名狄利克雷边界条件)。此外，玩具车在起点的速度是(v1x,v1y)，终点处要
algorithm - 检测多面体交点的*最快*算法是什么？
假设有 n 个 3 维对象(多面体)。最快的方法是计算所有对象的交集O(n^2)？现在，我正在使用一个基本上强制 T(n) 等于 n ^ 2 的库: for each object: // ther
c++ - C++ 最快 `finally`
关闭。这个问题需要 details or clarity 。它目前不接受答案。想改进这个问题吗？添加细节并通过 editing this post 澄清问题。关闭 5 年前。 Improve
c# - 最快/最安全的文件查找/解析？
在 c: 上，我有数以万计的 *.foobar 文件。它们在各种各样的地方(即子目录)。这些文件的大小大约为 1 - 64 kb，并且是纯文本。我有一个 class Foobar(string fi
c - openmpi:如何在根线程和随机(最快)的其他线程之间接收和发送数据？
我的基本问题是有多个线程做一些事情，其中一些需要比其他线程更多的时间(20 倍甚至更多)，他们需要的时间只取决于起始值，但不能从起始值预测单独他们需要多少时间。为了减少更快线程的空闲时间，我想通过
sql server 'in' 或 'or' - 最快
好的，我有一个疑问: select distinct(a) from mytable where b in (0,3) 什么会更快，上面的还是 select distinct(a) from myta
r - 使用索引修改 data.frame 的最有效方式(最快)
问题简介: 我正在开发一个生态生理模型，我使用了一个名为 S 的引用类列表。存储模型需要输入/输出的每个对象(例如气象、生理参数等)。此列表包含 5 个对象(请参见下面的示例): - 两个数据帧，S
java - 这是java中更新列表中对象(如果存在)最快、最有效的实现，否则添加它
我有一个正在工作的问题陈述，但我仍然想知道更高效、更快，更重要的是正确设计来处理下面提到的场景。我有一个 POJO 类 class A { String s; Double d; } 我正在
javascript - 在大型元素中使用 ReactJS 渲染 CSS 最快
关闭。这个问题需要更多focused .它目前不接受答案。想改进这个问题吗？更新问题，使其只关注一个问题 editing this post . 关闭 3 年前。 Improve this q
ios - XCode、LLVM 和代码优化——最快、最小与无
关于 LLVM 如何优化代码，关于 SO 以及整个网络都有一些非常好的描述。但这些都无法回答我的具体问题。在 Xcode 中，项目和目标设置中有各种代码优化选项。我理解在开发过程中不需要优化，但为什
c# - 读取 byte[] 最快(可能不安全)的方法是什么？
我正在用 C# 开发一个服务器项目，在收到 TCP 消息后，它会被解析并存储在一个精确大小的 byte[] 中。 (不是固定长度的缓冲区，而是存储所有数据的绝对长度的字节[]。) 现在为了阅读这个 b

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

elasticsearch - 按标志过滤文档的最快方法是什么？