apache-spark-sql - Cloud Composer - DAG 错误 : java. lang.ClassNotFoundException:找不到数据源:bigquery

Question

我正在尝试执行在 Cloud Composer 中创建 Dataproc 集群的 DAG。但是在尝试保存 Big Query 时失败了。我想这缺少一个 jar 文件 (--jars gs://spark-lib/bigquery/spark-bigquery-latest_2.12.jar)，但我不知道如何添加到我的代码中。

代码:

submit_job = DataprocSubmitJobOperator(
        task_id="pyspark_task", 
        job=PYSPARK_JOB, 
        location=REGION, 
        project_id=PROJECT_ID)

如果在集群上调用这个作业，它就可以工作。

gcloud dataproc 作业提交 pyspark --cluster cluster-bc4b --jars gs://spark-lib/bigquery/spark-bigquery-latest_2.12.jar --region us-central1 ~/examen/ETL/loadBQ.py

但我不知道如何在 Airflow 上复制

PySpark 上的代码:

df.write .format("bigquery") .mode("append") .option("temporaryGcsBucket","ds1-dataproc/temp") .save("test-opi-330322.test. Base3")

Answer 1

在你的例子中

submit_job = DataprocSubmitJobOperator(
        task_id="pyspark_task", 
        job=PYSPARK_JOB, 
        location=REGION, 
        project_id=PROJECT_ID)

jar 应该是 PYSPARK_JOB 的一部分，例如

PYSPARK_JOB = {
    "reference": {"project_id": PROJECT_ID},
    "placement": {"cluster_name": CLUSTER_NAME},
    "pyspark_job": {
      "main_python_file_uri": PYSPARK_URI,
      "jar_file_uris": ["gs://spark-lib/bigquery/spark-bigquery-latest_2.12.jar"],
    },
}

查看此 doc .