python - 有没有办法获取 Big Query 中的数据集列表以及表和 View ？

Question

我有一长串数据集，每个数据集中都有许多表和 View 。我想要所有数据集的名称列表、每个数据集包含的表和 View 。我还想知道每个表或 View 名称是否是表或 View ？

最好以数据框/csv 的形式获取结果，这样我就可以将其放回到 Big Query 中。

得到这样的东西:

数据集名称 |表名称/ View 名称 |表或 View

足球 |德国队 |表

足球 |英国团队 |查看

有哪些方法可以实现这一目标？

Answer 1

由于您使用 python 来查询 BigQuery，因此您可以通过 2 个步骤实现目标:

1. 查询 information_schema 以列出所有数据集 ( documentation )

SELECT
 schema_name
FROM
 INFORMATION_SCHEMA.SCHEMATA

对于每个数据集，形成如下查询 ( documentation ):

SELECT
 table_schema AS dataset_name,
 table_name,
 table_type   -- "view" or "table"
FROM
 <dataset_name>.INFORMATION_SCHEMA.TABLES