apache-spark - 从谷歌存储 gs ://filesystem from local spark instance 读取

Question

问题很简单:您有一个本地 spark 实例(集群或只是在本地模式下运行它)并且您想从 gs://读取

Answer 1

就我的 Spark 2.4.3 而言，我需要执行以下操作才能从 Spark 本地启用 GCS 访问。我使用了 JSON key 文件与 client.id/secret以上建议。

在 $SPARK_HOME/jars/ ，使用阴影 gcs-connector来自这里的 jar :http://repo2.maven.org/maven2/com/google/cloud/bigdataoss/gcs-connector/hadoop2-1.9.17/否则我在传递依赖方面遇到了各种失败。

(可选)致我的 build.sbt添加:

"com.google.cloud.bigdataoss" % "gcs-connector" % "hadoop2-1.9.17"
    exclude("javax.jms", "jms")
    exclude("com.sun.jdmk", "jmxtools")
    exclude("com.sun.jmx", "jmxri")

在 $SPARK_HOME/conf/spark-defaults.conf ， 添加:

spark.hadoop.google.cloud.auth.service.account.enable       true
spark.hadoop.google.cloud.auth.service.account.json.keyfile /path/to/my/keyfile

一切正常。