google-cloud-platform - 更新 BigQuery 永久外部表

Question

我使用 BigQuery 将数据存储在“原生”BigQuery 表中，并查询存储在 Google Cloud Storage 中的数据。根据文档，可以使用两种类型的表查询外部源:永久 和临时 外部表。
考虑以下场景:每天在 GCS 中写入一些 parquet 文件，并且我想以一定的频率在存储在 BigQuery 表中的数据和存储在 parquet 文件中的数据之间进行 JOIN。如果我创建一个永久 外部表，然后更新下面的文件，表的内容是否也会自动更新，还是我必须从新文件重新创建它？这种情况的最佳做法是什么？

Answer 1

将新文件添加到云存储桶时，无需重新创建外部表。唯一的异常(exception)是，如果新文件中的列数不同，则外部表将无法按预期工作。

You need to use wildcard symbol to read files that matches to a specific pattern rather than providing a static file name. Example: "gs://bucketName/*.csv"