hadoop - ElasticMapReduce流式压缩输出

Question

我正在运行流作业，使用用于 map 和reduce的python脚本。我使用boto库创建的作业流程。

我正在使用gzip输入文件。但是，如何创建gzip输出文件？

Answer 1

我使用Java处理gzip文件并以gzip压缩方式生成输出。我用下面的代码

    FileOutputFormat.setCompressOutput(job, true);
    FileOutputFormat.setOutputCompressorClass(job, GzipCodec.class);  
    FileOutputFormat.setOutputPath(job, output path));

我希望您会在python中找到类似的API /代码。

您可以生成gzip文件作为生成的输出。将'-D mapred.output.compress = true -D mapred.output.compression.codec = org.apache.hadoop.io.compress.GzipCodec'作为选项传递给流作业。