python - 从共享数据集中提取 BigQuery 数据

Question

是否可以使用客户端 API (python) 从共享数据集(我只有查看权限)中提取数据(到谷歌云存储)？

我可以使用网络浏览器手动执行此操作，但无法使用 API 使其正常工作。

我已经为 MyProject 创建了一个项目 (MyProject) 和一个服务帐户，以在使用 API 创建服务时用作凭据。此帐户对共享数据集 (MySharedDataset) 具有查看权限，对我的谷歌云存储桶具有写入权限。如果我尝试在自己的项目中运行作业以从共享项目中提取数据:

job_data = {
        'jobReference': {
            'projectId': myProjectId,
            'jobId': str(uuid.uuid4())
        },
        'configuration': {
            'extract': {
                'sourceTable': {
                    'projectId': sharedProjectId,
                    'datasetId': sharedDatasetId,
                    'tableId': sharedTableId,
                },
                'destinationUris': [cloud_storage_path],
                'destinationFormat': 'AVRO'
            }
        }
    }

我得到错误:

googleapiclient.errors.HttpError: https://www.googleapis.com/bigquery/v2/projects/sharedProjectId/jobs?alt=json returned "Value 'myProjectId' in content does not agree with value sharedProjectId'. This can happen when a value set through a parameter is inconsistent with a value set in the request.">

在 jobReference 和 sourceTable 中使用 sharedProjectId 我得到:

googleapiclient.errors.HttpError: https://www.googleapis.com/bigquery/v2/projects/sharedProjectId/jobs?alt=json returned "Access Denied: Job myJobId: The user myServiceAccountEmail does not have permission to run a job in project sharedProjectId">

对这两个作业使用 myProjectId 立即返回状态为“完成”且没有错误，但没有导出任何内容。我的 GCS 桶是空的。

如果使用 API 确实无法做到这一点，是否有其他方法/工具可用于自动从共享数据集中提取数据？

* 更新 *

使用在我的 GA 登录名下运行的 API 资源管理器，这工作正常。在我的代码中，我使用以下方法:

service.jobs().insert(projectId=myProjectId, body=job_data).execute()

并删除了包含 projectId 的 jobReference 对象

job_data = {
        'configuration': {
            'extract': {
                'sourceTable': {
                    'projectId': sharedProjectId,
                    'datasetId': sharedDatasetId,
                    'tableId': sharedTableId,
                },
                'destinationUris': [cloud_storage_path],
                'destinationFormat': 'AVRO'
            }
        }
    }

但这会返回错误

Access Denied: Table sharedProjectId:sharedDatasetId.sharedTableId: The user 'serviceAccountEmail' does not have permission to export a table in dataset sharedProjectId:sharedDatasetId

我的服务帐户现在是共享数据集的所有者，并且对 MyProject 具有编辑权限，还需要在哪里设置权限，或者是否可以使用我的 GA 登录凭据而不是服务帐户来使用 python API？

* 更新 *

终于搞定了。如何？确保服务帐户有权查看数据集(如果您无权自行检查，而有人告诉您可以，请他们再次检查/向您发送屏幕截图!)

Answer 1

尝试重现问题后，我遇到了解析错误。我曾在开发者控制台 [2] 上尝试过使用 API，并且成功了。 我确实注意到，下面的请求代码与网站上的文档格式不同，因为它使用单引号而不是双引号。

这是我为让它工作而运行的代码。

{
'configuration': {
    'extract': {
        'sourceTable': {
            'projectId': "sharedProjectID",
            'datasetId': "sharedDataSetID",
            'tableId': "sharedTableID"
        },
        'destinationUri': "gs://myBucket/myFile.csv"
    }
}
}

HTTP 请求

发布https://www.googleapis.com/bigquery/v2/projects/myProjectId/jobs

如果您仍然遇到问题，您可以尝试网站上的 jobs.insert API [2] 或尝试 bq 命令工具 [3]。

下面的命令可以做同样的事情:

bq 提取 sharedProjectId:sharedDataSetId.sharedTableId gs://myBucket/myFile.csv

希望这对您有所帮助。

[2] https://cloud.google.com/bigquery/docs/reference/v2/jobs/insert

[3] https://cloud.google.com/bigquery/bq-command-line-tool