amazon-ec2 - Spark 1.3.1 : cannot read file from S3 bucket, org/jets3t/service/ServiceException

Question

我在 AWS EC2 VM (Ubuntu 14.04) 上，愿意使用 Spark 在我的 S3 文件中的 RDD 上做一些基础知识。成功运行此脏命令时(暂时不使用 sparkContext.hadoopConfiguration)

scala> val distFile = sc.textFile("s3n://< AWS_ACCESS_KEY_ID>:<AWS_SECRET_ACCESS_KEY>@bucketname/folder1/folder2/file.csv")

然后我在运行 distFile.count() 时收到以下错误

java.lang.NoClassDefFoundError: org/jets3t/service/ServiceException
         at org.apache.hadoop.fs.s3native.NativeS3FileSystem.createDefaultStore(NativeS3FileSystem.java:334)
         at org.apache.hadoop.fs.s3native.NativeS3FileSystem.initialize(NativeS3FileSystem.java:324)
         at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2596)
...
...
Caused by: java.lang.ClassNotFoundException: org.jets3t.service.ServiceException
        at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:355)

我以前有

使用相应的 AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY 定义了一个 AWS IAM 用户

添加了 export将两个键作为 .bashrc 中的环境变量

使用 SPARK_HADOOP_VERSION=2.6.0-cdh5.4.1 sbt/sbt assembly 构建 Spark 1.3.1

安装并运行 hadoop 2.6-cdh5.4.1 (伪分布式)

是否与 textFile("s3n// ...") 的语法有关？ ?我试过其他的，包括 s3://没有成功 ...

谢谢

Answer 1

将 Jets3t jar 包含到您的类路径中。使用您当前的设置添加适当的兼容版本。您需要将 ServiceException 添加到您的类路径中。