基于 100 的权重的 Elasticsearch 随机选择

Question

我运营一个 Rails 站点已经有几年了，一些文章是根据权重字段从数据库中提取的。数据结构为:

{name: 'Content Piece 1', weight: 50}
{name: 'Content Piece 2', weight: 25}
{name: 'Content Piece 3', weight: 25}

我最初写的 Ruby 代码是这样的:

choices = []
sum = articles.inject(0.0) { |sum, article|
  sum += listing['weight']
}
pick = rand(sum)
choices << articles.detect { |listing|
  if pick <= listing['weight']
    true
  else
    pick -= listing['weight']
    false
  end
}

这在提取每个内容 block 和尊重重量方面效果很好。在数据集上运行此代码 100 次后，我多次根据权重很好地分配了内容片段:

100.times do
  choices = []
  sum = articles.inject(0.0) { |sum, article|
    sum += listing['weight']
  }
  pick = rand(sum)
  choices << articles.detect { |listing|
    if pick <= listing['weight']
      true
    else
      pick -= listing['weight']
      false
    end
  }
end

{:total_runs=>100, "Content Piece 1"=>51, "Content Piece 2"=>22, "Content Piece 3"=>27}
{:total_runs=>100, "Content Piece 1"=>53, "Content Piece 2"=>30, "Content Piece 3"=>17}

我现在开始更频繁地使用 ElasticSearch，我希望我可以在 ES 中索引数据并根据权重拉出内容。

我发现了一篇 SO 帖子，谈论的内容非常相似，可以在这里找到:

Weighted random sampling in Elasticsearch

我已提取搜索查询并更改它以匹配我的数据结构:

{
  "sort": ["_score"],
  "size": 1, 
  "query": {
    "function_score": {
      "functions": [
        {
          "random_score": {}
        },
        {
          "field_value_factor": {
            "field": "weight",
            "modifier": "none",
            "missing": 0
          }
        }
      ],
      "score_mode": "multiply",
      "boost_mode": "replace"
    }
  }
}

此查询确实尊重权重，并且提取权重为 50 的内容片段比权重为 25 的其他 2 个内容片段要多得多，但它不会从总共 100 个权重中分配内容，如果这是有道理的。我运行此查询 100 次并得到如下结果:

{:total_runs=>100, "Content Piece 1"=>70, "Content Piece 2"=>22, "Content Piece 3"=>8}
{:total_runs=>100, "Content Piece 1"=>81, "Content Piece 2"=>7, "Content Piece 3"=>12}
{:total_runs=>100, "Content Piece 1"=>90, "Content Piece 2"=>3, "Content Piece 3"=>7}

由于我是 ES 的新手，并且仍在学习查询、评分等的来龙去脉，我想知道是否有人可以提供一种解决方案来更模仿我编写的 Ruby 代码，以便更有效地根据权重分发内容满分 100。Painless 脚本是否适用于移植 Ruby 代码？

我希望这是有道理的，如果您有任何其他问题可以帮助解释我正在努力实现的目标，请告诉我。谢谢!

Answer 1

您的 elasticsearch 查询是正确的，您不需要脚本来执行您想要的操作。这只是概率问题。对于一个简短的答案，将权重 50 的乘数(即 field_value_factor)替换为 40 并将权重 25 的乘数替换为 30，您将得到预期的结果。

基本上，问题在于将随机值乘以权重不会产生权重为乘数的加权分布。乘数可以从权重推导出来，但是有不一样的。

我可以举个例子说明你的情况。对于权重 50，如果随机值在 0.5 以上，则其分数必然最高(0.5 * 50 >= 1 * 25)。由于值为 0.5 的概率为 50%，因此您现在可以肯定，重量为 50 的项目至少有一半的时间会被退回。

但即使权重50的随机值低于0.5，它仍然可以被选中。事实上，在这种情况下它被选中的概率是 1/3。

我只是对您的结果感到有点惊讶，因为它的概率应该更接近 66%(即 50% + 50%/3)，而其他概率应该在 16.5% 左右。也许尝试增加运行次数以确保安全。

使用 script_score

的任何权重的解决方案

您不需要使用此解决方案计算乘数，但您必须为每个文档提供一个范围，例如 min_value 和 max_value。 max_value是min_value和文档权重之和，min_value是前面文档权重的累加和。

例如，如果您有 4 个权重分别为 5、15、30、50 的文档，则范围可以是:

• 权重为 5 的文档:min_value = 0，max_value = 5
• 权重为 15 的文档:min_value = 5，max_value = 5+15 = 20
• 权重为 30 的文档:min_value = 20，max_value = 20+30 = 50
• 权重为 30 的文档:min_value = 50，max_value = 50+50 = 100

对应的elasticsearch查询为

{
  "sort": ["_score"],
  "size": 1, 
  "query": {
    "function_score": {
      "functions": [
        {
          "script_score": {
               "script" : {
                    "params": {
                        "random": <RANDOM_VALUE>,
                    },
                    "source": "params.random >= doc['min_value'].value && params.random < doc['max_value'].value ? 1 : 0"
                }
          }
        }
      ],
      "score_mode": "multiply",
      "boost_mode": "replace"
    }
  }
}

应该为每个请求计算查询中的 random 参数，并且必须介于 0 和所有权重的总和之间(在您的情况下为 100，但不一定是)。

这种方法的问题在于，如果您更改权重，则必须更新所有文档 的范围，因为累积总和会发生变化。如果您最多有 20 个文档并且不经常更新权重，这应该不是问题。