airflow - 使用受 IAP 保护的应用验证 Google Composer http 调用任务

Question

我有一个设置，其中有一个应用引擎 REST 应用程序和一个 Google Composer /Airflow DAG，它有一个任务，它应该从应用程序的一个端点获取数据。该应用程序受 IAP 保护。我已将运行 Airflow 的服务帐户添加到“IAP 安全 Web 应用程序用户”列表中，但是每次执行该步骤时，对 http 调用的响应都是 Google 登录页面。知道是否需要任何额外步骤吗？

我的 DAG 步骤的代码:

def get_data():
    r = requests.get(url="url-to-my-app-endpoint>")
    print('stuff:')
    print(r.status_code)
    print(r.content)
    return 1

# ...

python_fetch_data = PythonOperator(
    task_id='python_fetch_data',
    python_callable=get_data,
    dag=dag,
    depends_on_past=True,
    priority_weight=2
)

Answer 1

https://cloud.google.com/iap/docs/authentication-howto#authenticating_from_a_service_account说明如何扩展您的 DAG 代码，以便它向受 IAP 保护的 API 后端发送凭据。

一些背景知识:由于 Composer 构建在 GCP 之上，您的 Composer 部署具有独特的 service account它运行的身份。您可以将该服务帐户添加到端点的 IAP 访问列表中。

我不知道 Composer UI 是否可以让您轻松查看服务帐户的“电子邮件”地址，但如果您添加上面的代码和 decode the token它生成，将显示它。