java - SparkApp 无法加载 Aws Java Sdk 定义

Question

我的 Spark 应用程序无法加载 AWSCredentials 类并显示消息 - 无法加载 com.pipeline.ana.SparkApp:com/amazonaws/auth/AWSCredentials

我有这些进口 -

import com.amazonaws.auth.AWSCredentials;
import com.amazonaws.auth.BasicAWSCredentials;
import com.amazonaws.auth.AWSStaticCredentialsProvider;
import com.amazonaws.client.builder.AwsClientBuilder;
import com.amazonaws.services.s3.AmazonS3ClientBuilder;
import com.amazonaws.services.s3.AmazonS3;

像这样创建 s3Client -

AWSCredentials credentials = new BasicAWSCredentials("access_key", "secret_key");
AmazonS3 s3Client = AmazonS3ClientBuilder.standard()
                    .withEndpointConfiguration(new AwsClientBuilder.EndpointConfiguration("https://10.10.1.225:19443", "region1"))
                    .withCredentials(new AWSStaticCredentialsProvider(credentials))
                    .build();

用于放置对象(java RDD 中存在的字符串)。当我执行mvn clean package时，构建成功，但spark-submit无法找到AWS类。

我的 Maven 依赖项 com.amazonaws.aws-java-sdk.1.11.595。如何解决这个问题？

Answer 1

由于我使用的是IntelliJ ide，所以有时会出现缓存问题。只需从项目文件夹中删除项目元数据目录并导入项目即可。 build.sbt 将重新加载依赖项而不会出现任何失败。我的问题通过这种幼稚的方法得到了解决。