hadoop - 无法配置 Pig 将中间文件存储为 LZO 格式

Question

我正在学习 Pig，我想将中间结果存储为 LZO 格式。

我已经成功下载、编译和安装了 lzo 编解码器。

当我尝试使用此命令运行 PigLatin 脚本时:

pig
-Djava.library.path=<path to the lzo library> 
-Dpig.tmpfilecompression=true 
-Dpig.tmpfilecompression.codec=lzo org.apache.pig.Main  myscript.pig

失败，报错:

 ERROR org.apache.pig.tools.grunt.GruntParser - ERROR 2997: Encountered IOException. LZO codec class not specified. Did you forget to set property io.compression.codec.lzo.class?

我也尝试过使用 core-site.xml 和 mapred-site.xml 但我无法解决问题。

谁能帮我解决这个问题？

Answer 1

-Djava.library.path=lzo库的路径

您是否确实按照所示放置了这条线？？如果是，请给它 lzo 库的路径。如果您对其他压缩没问题，只需更改带有 .zip 扩展名的输出文件名并运行相同的 pig 脚本而不覆盖任何压缩属性，前提是您使用的是 0.9 或更高版本的 pig。