hadoop - 输出位置验证失败...映射器在输出文件夹中创建 _temporary 目录

Question

运行后

hdfs dfs -rm -r -skipTrash hdfs://valid/output/path
hdfs dfs -ls hdfs://valid/output/path

并验证此输出目录不存在，我仍然收到以下错误:

2016-12-30 23:38:55,290 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 6000:  Output Location Validation Failed for: '/valid/output/path More info to follow:
Output directory hdfs://valid/output/path already exists

在 STORE 调用之前，我还尝试在我的 pig 脚本中执行 fs -rm -r、rmr，但它出错了声称该文件夹不存在。

当我 ls hdfs://valid/output/path 输出目录时，pig 脚本出错后，它显示一个 _temporary 目录，其中包含 attempt_[insert random number] 目录，而这些目录又似乎包含活泼的文件。我怀疑映射器正在将中间数据 block 写入我的输出目录。为什么会这样，我该如何阻止它？

相关标题如下:

SET default_parallel 50;
SET mapreduce.job.queuename my.queue.name;
SET mapreduce.reduce.markreset.buffer.percent 0.7;
SET mapreduce.map.java.opts -Xmx3200m;
SET mapreduce.reduce.java.opts -Xmx6400m;
SET yarn.app.mapreduce.am.command-opts -Xmx6400m;
SET mapreduce.map.memory.mb 4096;
SET mapreduce.reduce.memory.mb 8192;
SET yarn.app.mapreduce.am.resource.mb 8192;
SET mapreduce.reduce.maxattempts 20;

已尝试以下解决方案，但均未成功:

Apache Pig, Suppress "Output Location Validation Failed" "Output directory ... already exists"

Answer 1

尝试使用 rmf command并像这样放置路径

rmf /valid/output/path

如果目录不存在，它不会引发错误，在存储数据之前使用它。