azure - 使用 effectiveDateTime 回填 ADX，这取决于当前正在加载的数据

Question

所以这是场景:

1. 我们有一个 m_reading 表，每天都会在其中提取 24 个读数。
2. 在 24 个读数中，23 个是当天的读数，1 个是前一天的读数。
3. 物化 View 应该聚合天数数据。
4. 业务用户可以对当天进行部分汇总，但一旦第二天数据可用，就必须刷新。

这里我们计划使用回填属性。来自 documentation我们看到我们可以使用 effectiveDateTime

但在示例中我们看到 effectiveDateTime 始终是硬编码的。例如

.create async materialized-view with (backfill=true, effectiveDateTime=datetime(2019-01-01)) CustomerUsage on table T 
{
    T 
    | extend Day = bin(Timestamp, 1d)
    | summarize count(), dcount(User), max(Duration) by Customer, Day
}

我们可以从某个地方传递它吗？甚至可以依赖于当前的负载行为。

在我们的示例中，如果当前加载的数据是 2023 年 4 月 28 日，则 effectiveDateTime 应为 2023 年 4 月 27 日。

提前感谢您的指点。

======================================

更新1:感谢@Anvera 提供的文档

基于 Anvera 的回复，我的结论是:

• 回填仅在创建 MV 时适用
• MV 对新摄取的数据(增量数据)进行聚合。引用here .

这给我带来了一个问题，如何强制 MV 刷新(或重新聚合)数据，同时考虑到已经加载的数据(在我们的例子中是昨天的数据)

Answer 1

物化 View 将始终根据 View 定义聚合数据。如果前一天有迟到的数据已具体化(聚合)，则具体化流程将使用新数据更新该天。您不需要强制它重新聚合，它会自动发生。