dbt - dbt中特定列数据的增量更新

Question

给定一个包含 20 列的表，我当前的模型已经将所有记录插入表中。但是，我想将我的增量更新重点放在几个专栏上。

例如，给定下表模型。我想在新值可用时仅使用新值增量更新 C 列，而不是删除并重新插入整行，这在索引/性能方面成本更高。

现有:

<表类="s-表"><头>idBC<正文>n1X1n2是2n3Z3

新:

<表类="s-表"><头>idBC<正文>n1X1.2n2是2.1n3Z3.5

Answer 1

似乎这个功能将被添加到下一个版本的 dbt (v0.20.0) 中。但总而言之，模型的配置 block 中将提供一个用于指定列的新选项 (merge_update_columns)。

{{
  config(
    materialized = 'incremental',
    unique_key = 'id',
    merge_update_columns = ['c'],
    ...
  )
}}

select ...

查看文档了解更多详情: https://next.docs.getdbt.com/docs/building-a-dbt-project/building-models/configuring-incremental-models#strategy-specific-configs