google-bigquery - 将 Airflow 与 BigQuery 和云 sdk 结合使用会出现错误 "User must be authenticated when user project is provided"

Question

我正在尝试在本地运行 Airflow 。我的 DAG 有一个 BigQueryOperator，我想使用云 sdk 进行身份验证。我运行“gcloud auth application-default login”以获取带有凭据的json文件。我尝试运行以下命令测试我的 Dag:airflow test testdag make_tmp_table 2019-02-13我收到错误消息“提供用户项目时必须对用户进行身份验证”

如果我不使用云 sdk，而是使用具有 BigQuery 管理员权限的服务帐户，则它可以工作，但我需要通过云 sdk 使用身份验证。

有谁知道此错误消息的含义或我如何运行 Airflow 并使用云 sdk 进行身份验证？

我使用以下来源尝试了解如何在本地使用 BigQueryOperators 运行 Airflow 。
https://medium.com/@jbencina/local-testing-with-google-cloud-composer-apache-airflow-75d4213d2893

Answer 1

要么您没有在正确的项目上工作，要么您没有执行此工作的权限。

我的建议是:

通过运行检查您当前的配置:

gcloud auth list

如果不运行这些命令来设置它们，请确保您拥有正确的项目和正确的帐户设置:

gcloud auth application-default login

系统将提示您输入链接。按照它并输入您的帐户。之后，您将看到一个验证码，将其复制并添加到您的 gcloud 终端。

接下来要做的是确保您的帐户有权执行您正在尝试的工作。可能你需要这个角色 角色/composer.admin 如果它不起作用，请添加前置角色 角色/编辑来自您的 IAM console .但是，该前置角色仅用于测试目的，不建议将其用于生产级项目。