hadoop - 我可以将 pig.temp.dir 设置为/user/USERNAME/tmp/pig 吗？

Question

Hive 可以配置为

hive.exec.scratchdir=/user/${user.name}/tmp/hive

我可以用 Pig 做类似的事情吗？我已尝试修改 pig.properties 文件，但似乎没有任何效果。

pig.temp.dir=/user/${user.name}/tmp/pig <- Doesn't work
pig.temp.dir=/user/`whoami`/tmp/pig     <- Doesn't work
pig.temp.dir=/user/${user}/tmp/pig      <- Doesn't work
pig.temp.dir=/user/${username}/tmp/pig  <- Doesn't work

我可以用别名替换 pig 命令，但我希望将更改写入配置文件。

pig -Dpig.temp.dir=/user/`whoami`/tmp/pig

谢谢!

更新:我们决定将/tmp/用于生产系统。这是一个问题的原因是因为我们正在运行 MapR，它似乎试图将临时目录放入用户目录，并在 Hive 上成功，但在 Pig 上却没有。

Answer 1

您还可以在 Pig 脚本中设置 pig 临时目录，如下所示:
设置 pig.temp.dir/user/foo/tmp/pig；
对于小输出，我认为使用/tmp 目录很好，但对于大输出，我建议用户写入他们的个人目录。