JAVA - SPARK - saveAsTextFile 不能应用于 '(java.lang.String, org.apache.hadoop.io.compress.CompressionCodec)'

Question

我正在使用 Spark 在 JAVA 中编写程序。

我有一个名为“copied_logs”的 JavaRDD，它使用映射并从位于 hdfs 上的日志中复制几个字段。

现在，我想用 Bzip2 压缩“copied_logs”然后保存。我想使用“saveAsTextFile”函数将这些数据保存在 hdfs 上。我的压缩保存代码如下:

    CompressionCodec codec = new BZip2Codec();
    copied_logs.saveAsTextFile(output_dir + "copied_logs.json", codec);

但是我得到这个错误:

Error:(128, 69) java: incompatible types: org.apache.hadoop.io.compress.CompressionCodec cannot be converted to java.lang.Class<? extends org.apache.hadoop.io.compress.CompressionCodec>

谢谢。

Answer 1

saveAsTextFile 方法的第二个参数是类类型 (doc)。因此，您需要传递.class 对象。

类似于:

copied_logs.saveAsTextFile(output_dir + "copied_logs.json", BZip2Codec.class)