hadoop - 重命名 PIG 输出的部分文件

Question

我需要在运行我的 PIG 作业后更改零件文件命名约定。我希望 part-r-0000 成为 userdefinedName-r-0000。

有什么可能的解决方案吗？我正在避免使用 hadoop -cp 和 hadoop -mv 命令。

谢谢

Answer 1

此文件由 Pig 生成的 map-reduce 作业创建。所以你应该配置 Apache Map-reduce。对应的属性是mapreduce.output.basename

您可以直接在 pig 脚本中定义任何 Hadoop 属性:

SET mapreduce.output.basename 'custom-name';