random - ElasticSearch 每天一致的排序顺序，但跨天随机化

Question

我正在尝试返回过滤查询的随机结果，以便让我的所有文档都有机会出现在第一页结果中。为了在重复搜索期间不混淆用户(并轻松支持分页)，结果应与当天保持一致。

为此，我开发了以下脚本排序查询。它将文档 id(一个 guid，所以已经相当随机)与每日盐(只是一年中的某一天和当年的组合)结合起来，并对结果进行哈希处理以产生我期望的相当随机的字符串，它只会改变为“每日盐”每天都在变化(忽略此特定查询中的无关元素，它是从代码生成的)。

{
  "from": 0,
  "size": 20,
  "sort": {
    "_script": {
      "order": "asc",
      "type": "string",
      "script": "org.elasticsearch.common.Digest.md5Hex(dailySalt + doc['id'].value)",
      "params": {
        "dailySalt": "184-2013"
      }
    }
  },
  "query": {
    "filtered": {
      "query": {
        "match_all": {}
      },
      "filter": {
        "bool": {
          "must": [
            {
              "term": {
                "tag_id": "Some Tag"
              }
            },
            {
              "match_all": {}
            }
          ]
        }
      }
    }
  },
  "fields": [
    "id"
  ]
}

灵感来自 this similar question and answer

它有效，但不是很好。当我增加每天的盐分时，我得到的结果略有不同，但相同的文档不断出现在顶部结果周围。它们略有移动，但绝对具有一致的模式。

我尝试将哈希函数更改为我发现的另一个:org.elasticsearch.cluster.routing.operation.hash.djb.DjbHashFunction.DJB_HASH但它给出了与常见顶级结果非常相似的结果。

我不是密码学专家，所以我认为这是常见哈希函数的行为，并且必须有一些特殊的哈希函数用于基于相似输入的更多随机结果？

是否有人熟悉 ElasticSearch 中可用的搜索引擎？我正在使用 Searchbox.io (云托管 Elasticsearch 服务)所以安装我自己的自定义功能不是一个选项。

还是我从一个完全错误的角度来解决这个问题？

编辑我只是查看了脚本生成的结果排序键，脚本似乎只应用于结果的第一页，然后对第一页进行排序(而不是应用于整个结果集并因此更改文档在第一页内)。

这是我的第一页结果(为简洁起见进行了编辑)。但是您可以仅在第一页上看到排序键从 0c*** 到 fa***，对于前 0 - 20 个文档，总共约 200 个文档。

使用 'dailySalt' = 185-2013

{
"took": 2,
"timed_out": false,
"_shards": {
    "total": 1,
    "successful": 1,
    "failed": 0
},
"hits": {
    "total": 196,
    "max_score": null,
    "hits": [{
        "fields": {
            "id": "27662ef8-d2a7-4fde-80f6-1571b83c4cde"
        },
        "sort": ["0cbf8b4e7927f0a53a5b82f2630ff9ad"]
    }, {
        "fields": {
            "id": "d9b11797-053f-495e-a676-0ec959dba879"
        },
        "sort": ["0fa8730a5239f8a3d1286cbe16619bfa"]
    }, {
        "fields": {
            "id": "482c893f-1083-4860-892e-1b25cf442199"
        },
        "sort": ["295edd71cc48ac41c5e2f91315abf5ce"]
    }, {
        "fields": {
            "id": "581fd0f1-9ecb-4e5c-920b-06413bfbf4f7"
        },
        "sort": ["4b9f0d17bc2333d13a1963b4f6afb829"]
    }, {
        "fields": {
            "id": "de3dddb8-e296-4446-ac4c-135cc925669d"
        },
        "sort": ["4c5d0bcb50f5b600e539ba46b33b1007"]
    }, {
        "fields": {
            "id": "c83ad22e-80b4-40f1-8e56-2153a1a1f9e8"
        },
        "sort": ["55efe0a692ab3205405f1c74732b8205"]
    }, {
        "fields": {
            "id": "7bd19829-4f37-4e02-9fd1-0239b8ae8db4"
        },
        "sort": ["5adcd22c7c507244d7ba382812accdf3"]
    }, {
        "fields": {
            "id": "42fcec43-851f-4133-a8db-1d2bf0b86ec8"
        },
        "sort": ["6757f46bd554e3353a2ebf35c6b3d24c"]
    }, {
        "fields": {
            "id": "e119132b-4e93-4047-8513-1ce2452f0cdd"
        },
        "sort": ["6dbcb59a2b5e91523896d57695251b29"]
    }, {
        "fields": {
            "id": "7d0acf5d-7c14-45a2-97b7-17939ff512f4"
        },
        "sort": ["9d99752ec0802e55dcfb3c83bcd2e4bb"]
    }, {
        "fields": {
            "id": "2cdc21e4-3312-460b-9a18-094e4f95a56c"
        },
        "sort": ["9dc43d1d39e64cfe04c6d7b8f565faaa"]
    }, {
        "fields": {
            "id": "0f665cb3-5648-416c-b08f-146d2a019319"
        },
        "sort": ["b61bb718fe63a287b6fcdc8bcd638604"]
    }, {
        "fields": {
            "id": "1e852d49-2b3b-4d7a-9f1b-1495b94e723e"
        },
        "sort": ["ba7ad8a3a6e195a6bc28e341f9d6965b"]
    }, {
        "fields": {
            "id": "ca2a5922-bb42-4317-b61c-129925436a1f"
        },
        "sort": ["bca0411cf8d67b4dcd5b205a5010367f"]
    }, {
        "fields": {
            "id": "b1dac760-7d73-4b60-bd6d-08ea9453e68c"
        },
        "sort": ["be3714cfb2517e98d525aaea6e40cfa5"]
    }, {
        "fields": {
            "id": "c4b08def-59db-4ac0-b16f-0c3fae4c01f2"
        },
        "sort": ["c4220b31c305d536c7a7d1639da32c66"]
    }, {
        "fields": {
            "id": "cc7ac1fd-3e88-4503-a837-2000ebb6e2d9"
        },
        "sort": ["ceb5710fe2418fe3b353bf7b1f737570"]
    }, {
        "fields": {
            "id": "5a5f90c9-b44f-4ca2-9d16-117c8e9fd388"
        },
        "sort": ["dc5fea76598633cb08c1459983ebca62"]
    }, {
        "fields": {
            "id": "6d811d5b-4138-4a41-a186-1b9aa2b65623"
        },
        "sort": ["ea3c55ac123ac9e819b145402407d1de"]
    }, {
        "fields": {
            "id": "b489d2da-b4a1-44de-acde-219109edd42f"
        },
        "sort": ["fab53cc11983b45b081d4b01df555c59"]
    }]
}
}

Answer 1

MD5 是一个 cryptographic hash function ，并且此类函数具有称为 avalanche effect 的属性.简而言之，即使是输入的微小变化也会完全改变输出。例如，您可以使用在线 MD5 计算器对此进行试验。

There are no chance collisions要么——你不会找到两个散列为相同值的字符串，即使你花了一生的时间试图找到它们。

这两个属性保证您编写的脚本每天为每个文档永远生成唯一的随机值。散列函数不是这里的问题。

有多少文件？每页显示多少个结果？看到什么样的模式？某个文档随机出现在首页上的可能性可能大得惊人。