hadoop - 有没有办法让 Spark 在不使用 Hadoop 的情况下读取 AWS S3 文件？

Question

独立程序可以通过使用 AWS 客户端 jar 文件在没有 Hadoop 的情况下读取/写入 AWS S3 文件。 Spark 程序可以在没有 Hadoop 的情况下读/写文件。然而，Spark 需要读取/写入 AWS S3 文件的程序才能使用 Hadoop。即便如此，即使设置了 Hadoop 目录，Spark 1.4 和 Hadoop 2.6 & 2.7 仍会出现关于缺少 S3 的 Hadoop 类的运行时错误。

1. Spark 程序是否可以通过 AWS 客户端 jar 文件在不使用 Hadoop 的情况下读取/写入 S3 文件？

2. 如果不是，我该如何解决 Spark 在运行时缺少 Hadoop 的 S3 类的问题？

Answer 1

Spark 使用 Hadoop 类来读取 S3，但它不需要安装 Hadoop(我们使用的是为 Hadoop 2.4 版本预构建的)。只需确保使用 s3n:// 前缀