Azure 数据资源管理器 : How do Partitioning Policy and Merge Policy work?

Question

在我们的 ADX 集群中，表上没有分区策略和合并策略，但 adx 仍然创建范围。我很困惑它是如何工作的以及默认设置是什么。有谁知道这个吗？

此外，分区键的组合如何工作？例如我有

{
  "PartitionKeys": [
    {
      "ColumnName": "tenant_id",
      "Kind": "Hash",
      "Properties": {
        "Function": "XxHash64",
        "MaxPartitionCount": 128,
        "Seed": 1,
        "PartitionAssignmentMode": "Uniform"
      }
    },
    {
      "ColumnName": "timestamp",
      "Kind": "UniformRange",
      "Properties": {
        "Reference": "2021-01-01T00:00:00",
        "RangeSize": "7.00:00:00",
        "OverrideCreationTime": false
      }
    }
  ]
}

这将在接下来的 7 天内为每个新的tenant_id 创建一个分区？但上限是128？或者我应该如何阅读这个？

当存在将小范围合并到更大范围的合并策略时，基于分区策略构建这些小范围有什么好处？为什么不构建一个更大的瞬间？

谢谢

<小时/>

我做了什么:搜索文档并尝试使用 goole

Answer 1

In our ADX cluster there is no partitioning policy and no merge policy on a table, but the adx still creates extents

如果您摄取数据，则会创建范围(如果您使用批量摄取，则立即创建；如果您使用流式摄取，则最终创建)。

分区策略(默认为“null”，很少需要定义它)将更改范围的分区方式，而合并策略(默认情况下定义，很少需要> 更改它)影响范围的合并方式。

how do a combination of partition keys work? This will create on every new tenant_id a partition within the next 7 days? But a limit is 128? Or how should I read this?

根据您包含的策略，表中的范围将按如下方式分区:

• 结果为 hash_xxhash64 的所有记录(tenant_id, 128)具有相同的值(0 到 127 之间的值)，并且 bin_at 的结果(timestamp, 7d, datetime(2021-01-01T00:00:00))具有相同的值 - 将包含在同一组范围中，并且将具有相同的分区元数据。

• 之后，具有相同分区元数据(对于两个分区键)的盘区可能会合并在一起，直到它们达到最佳大小(由系统管理)。具有不同分区元数据(对于任一分区键)的范围无法合并。

what is the benefit of building this small extents based on partition policy when there is a merge policy which merge the small extents to a bigger one? Why not building a bigger one instant?

我建议您仔细阅读以下帖子/文档:

1. Data partitioning in Kusto
2. Extents overview
3. Partitioning policy