gpt4 book ai didi

hadoop - 提供程序 com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem 无法实例化

转载 作者:行者123 更新时间:2023-12-02 20:21:40 26 4
gpt4 key购买 nike

我正在尝试在 Spark 上安装 Google Cloud Storage。我使用 -libjars 在 hadoop 类路径中添加了“gcs-connector-latest-hadoop2.jar” .我仍然收到 GoogleCloudStorageFileSystem找不到类错误。

$ hadoop fs -libjars /PATH/gcs-connector-hadoop2-latest.jar -ls /HDFS_PATH
20/02/05 05:41:33 WARN fs.FileSystem: Cannot load filesystem: java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Provider com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem could not be instantiated
20/02/05 05:41:33 WARN fs.FileSystem: java.lang.NoClassDefFoundError: com/google/cloud/hadoop/gcsio/GoogleCloudStorageFileSystem
20/02/05 05:41:33 WARN fs.FileSystem: java.lang.ClassNotFoundException: com.google.cloud.hadoop.gcsio.GoogleCloudStorageFileSystem
20/02/05 05:41:33 WARN fs.FileSystem: Cannot load filesystem: java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Provider com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem could not be instantiated
20/02/05 05:41:33 WARN fs.FileSystem: java.lang.NoClassDefFoundError: com/google/cloud/hadoop/gcsio/GoogleCloudStorageFileSystem
20/02/05 05:41:33 WARN fs.FileSystem: java.lang.ClassNotFoundException: com.google.cloud.hadoop.gcsio.GoogleCloudStorageFileSystem

我在这里有什么遗漏吗?

最佳答案

如果您对 dataproc 集群的主节点具有 root 访问权限,则可以在此处添加 gcs 连接器和符号链接(symbolic link) /usr/lib/hadoop/lib

关于hadoop - 提供程序 com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem 无法实例化,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60069694/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com