gpt4 book ai didi

apache-spark - 如何使用 Livy 在 Dataproc 中包含 BigQuery 连接器

转载 作者:行者123 更新时间:2023-12-04 07:25:55 25 4
gpt4 key购买 nike

我正在尝试使用驻留在 GCP Dataproc 内的 Livy 运行我的应用程序,但我得到了这个:“Caused by: java.lang.ClassNotFoundException: bigquery.DefaultSource”
我可以运行 hadoop fs -ls gs://xxxx 在 Dataproc 内部,我检查了 Spark 是否指向正确的位置以便找到 gcs-connector.jar,这也没关系。
我使用初始化将 Livy 包含在 Dataproc 中( https://github.com/GoogleCloudDataproc/initialization-actions/blob/master/livy/ )
如何在 Livy 的类路径中包含 bigquery-connector?
请问你能帮帮我吗?
谢谢你们!

最佳答案

看起来您的应用程序依赖于 BigQuery 连接器,而不是 GCS 连接器 ( bigquery.DefaultSource )。
默认情况下,GCS 连接器应始终包含在 HADOOP 类路径中,但您必须手动将 BigQuery 连接器 jar 添加到您的应用程序中。
假设这是一个 Spark 应用程序,您可以设置 Spark jar 属性以在运行时从 GCS 中拉入 bigquery 连接器 jar:spark.jars='gs://spark-lib/bigquery/spark-bigquery-latest_2.12.jar'有关更多安装选项,请参阅 https://github.com/GoogleCloudDataproc/spark-bigquery-connector/blob/master/README.md

关于apache-spark - 如何使用 Livy 在 Dataproc 中包含 BigQuery 连接器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/68215418/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com