scala - Spark : saveAsTextFile without compression

Question

默认情况下，较新版本的 Spark 在保存文本文件时使用压缩。例如:

val txt = sc.parallelize(List("Hello", "world", "!"))
txt.saveAsTextFile("/path/to/output")

将在 .deflate 中创建文件格式。更改压缩算法非常容易，例如为 .gzip :

import org.apache.hadoop.io.compress._
val txt = sc.parallelize(List("Hello", "world", "!"))
txt.saveAsTextFile("/path/to/output", classOf[GzipCodec])

但是有没有办法到 保存RDD 作为纯文本文件，即 没有任何压缩 ?

Answer 1

我可以看到 HDFS 中没有任何压缩的文本文件 用这个代码。

val conf = new SparkConf().setMaster("local").setAppName("App name")
val sc = new SparkContext(conf);
sc.hadoopConfiguration.set("mapred.output.compress", "false")
val txt = sc.parallelize(List("Hello", "world", "!"))
txt.saveAsTextFile("hdfs/path/to/save/file")

您可以将所有与 Hadoop 相关的属性设置为 hadoopConfiguration在 sc .

在 Spark 1.5.2(scala 2.11) 中验证了此代码。