logging - BigQuery 表数量不断增长——如何阻止它？

Question

我们已经收集了 3 个月的日志信息，信息量非常大，因为所有这些表都有日志条目，我们希望摆脱最旧的条目以及存储它们的表。

我们尝试了不同的方法，使用 bq 命令工具或发出 API 休息服务请求。我们已经成功了。

现在，问题是:是否有更合适的工具可以简化 BigQuery 中日志表的管理？我正在考虑在 Unix/Linux SO 上使用像 logrotate 这样的工具。

Answer 1

我们使用的“工具”是在数据集级别设置的过期时间。它的工作原理完全符合您的预期，无需您进一步参与。
假设您设置了 90 天。
任何新表都会“自动”将到期时间设置为自创建后的 90 天。

参见 https://cloud.google.com/bigquery/docs/reference/v2/datasets 中的“defaultTableExpirationMs”