hadoop - 生成 HDFS 序列文件

Question

我正在使用 org.apache.pig.PigServer 类从 Java 运行 pig 脚本。我需要以 gz 压缩的序列格式输出我的文件。这就是我所做的:

effectivePigProperties.put("mapred.output.compress", "true");
effectivePigProperties.put("mapred.output.format.class", "org.apache.hadoop.mapred.SequenceFileOutputFormat");
effectivePigProperties.put("mapred.output.compression.type", "SequenceFile.CompressionType.BLOCK");
effectivePigProperties.put("mapred.output.compression.codec", "org.apache.hadoop.io.compress.GzipCodec");

输出在 gz 中，但不是序列文件。我错过了什么？

Answer 1

虽然 Apache Pig 包(也不是它的 Piggybank)中还没有出现，但 Twitter 的 Elephant Bird 库提供了一个 SequenceFileStorage implementation你可以利用。