google-bigquery - 如何在 google Big Query 上更新大表

Question

“更新”Google BigQuery 上的表的最佳做法是什么？

我收到大量需要每小时加载的批处理文件。

批处理文件中的一些记录包含需要替换大目标表中旧记录的记录。

Answer 1

如果每条记录都有一个id，你可以像这样合并新表和旧表:

SELECT * FROM 
  (SELECT * FROM [oldtable] WHERE id NOT IN (SELECT id FROM [newtable])),
  (SELECT * FROM [newtable])