scala - 在 EMR 上使用 Spark 写入 S3 中的文件

Question

我使用以下 Scala 代码在 S3 中使用 AWS EMR 上的 Apache Spark 创建一个文本文件。

def createS3OutputFile() {
    val conf = new SparkConf().setAppName("Spark Pi")
    val spark = new SparkContext(conf)
    // use s3n !
    val outputFileUri = s"s3n://$s3Bucket/emr-output/test-3.txt"
    val arr = Array("hello", "World", "!")
    val rdd = spark.parallelize(arr)
    rdd.saveAsTextFile(outputFileUri)
    spark.stop()
  }

def main(args: Array[String]): Unit = {
    createS3OutputFile()
  }

我创建了一个胖 JAR 并将其上传到 S3。然后我通过 SSH 连接到集群主机并运行代码:

spark-submit \
    --deploy-mode cluster \
    --class "$class_name" \
    "s3://$s3_bucket/$app_s3_key"

我在 S3 控制台中看到了这一点:文件夹不是文件。

每个文件夹(例如 test-3.txt)都包含一长串 block 文件。下图:

如何将一个简单的文本文件作为我的 Spark 作业的输出输出到 S3？

Answer 1

尝试这样做:

rdd.coalesce(1, shuffle = true).saveAsTextFile(...)

我的理解是 shuffle = true 参数会导致它并行发生，因此它会输出单个文本文件，但要小心处理大量数据文件。

Here是关于手头这个问题的更多细节。