用于微批量更新的 Azure SQL DWH 设计

Question

我只需要关于使用 Azure SQl DWH 进行数据库设计的一个意见

这是当前的情况:

我们正在使用 Azure SQL DWH 构建一个 DWH 系统，其来源来自 Timeseries DB，每 15 秒捕获一次传感器相关信息。现在，我们的 data-bricks 集群每 2 分钟运行一次，它聚合这些数据并将其存储在我们的事实表中。对于所有事实表，我保留了索引类型:具有循环分布的聚集列存储索引

类似地，我们的维度表是从服务总线主题填充的。这些主题接收所有插入/更新/删除记录，并在 Azure Web 作业的帮助下捕获这些记录，这些作业不断汇集这些主题并将必要的条目添加到我们的维度表中。

对于所有维度表，我保留了索引类型:具有循环分布的聚集索引(对于业务键)。

您认为这对于 Azure SQl DWH 来说是一个很好的设计吗？其中记录以微批量方式在目标中更新。此外，还有一些 Power BI 报告在 DWH 中的这些表上运行，使用直接查询模式进行近实时分析。

请建议是否有任何替代方法

Answer 1

通过将 Fact 分布更改为 HASH() 并将 Dimension 分布更改为 Replicate，您将获得更好的性能。

循环表将强制对后续查询进行重新分配，并且复制将避免连接前的跨节点数据洗牌。