gpt4 book ai didi

google-cloud-dataprep - Cloud Dataprep BigQuery Upsert

转载 作者:行者123 更新时间:2023-12-04 10:13:32 27 4
gpt4 key购买 nike

从 Cloud Dataprep 发布时,是否可以更新 Google BigQuery 中的行?我在文档中找不到任何内容。

我有一个正在使用 Dataprep 进行预处理的数据集,其中包含每次(每天)运行时的新行和更新行。我想逐步将其写入 BigQuery,添加新行并更新现有的已更改行。

最佳答案

所以 Trifacta (CDP) 可以在每次作业运行时追加、替换或创建新文件。
您指的是 Upsert\Merge 操作。
所以这可以通过 2 个步骤来完成。

  • 新品 行,您可以使用“附加”运行选项
  • 用于更新现有行 - 2 个选项。

  • 任何一个 -
    A. 对输出文件(已经在 bigquery 中)进行联合转换,然后重复数据删除\聚合并选择您希望如何在被复制的行之间进行合并。每次创建\创建\更新新文件时都可以这样做。
    B. 创建一个新文件,然后通过参数化导入文件夹内的所有文件 - 合并它们并进行 中提到的分组一个 .

    显然 - 选项 一个 似乎更简单。

    那有意义吗?

    关于google-cloud-dataprep - Cloud Dataprep BigQuery Upsert,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61202997/

    27 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com