gpt4 book ai didi

google-cloud-dataflow - 使用 Dataflow 删除重复项

转载 作者:行者123 更新时间:2023-12-01 08:55:08 26 4
gpt4 key购买 nike

我有一个大型数据文件 (1 TB) 的数据要导入 BigQuery。每行包含一个键。在导入数据并创建我的 PCollection 以导出到 BigQuery 时,我想确保我不会基于此键值导入重复记录。使用 Dataflow 在我的 Java 程序中执行此操作的最有效方法是什么?
谢谢

最佳答案

关于google-cloud-dataflow - 使用 Dataflow 删除重复项,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28436155/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com