hadoop - 输入路径不存在:file:/D:/pigsample_1749383998_1377684507424

Question

我面临一个棘手的问题。
我在装有最新版本cygwin的Windows7 / 64位计算机上运行PIG 0.11。

我是一个Weblog，我想按userName对其进行排序，以使同一用户的所有用户 Activity 一起提供以进行下一行处理。

我正在cygwin控制台上启动commandprompt-> cygwin.bat->转到D:/-> pig，并在grunt must(本地模式)上键入以下脚本。
(请注意，我已经正确设置了PIG_HOME和PIG_CLASSPATH)。

脚本是:

USERACTIVITIES = LOAD '/D:/path/of/logs/useractivities' USING org.apache.pig.piggybank.storage.CSVExcelStorage(',') AS (datetimeUnProcessed:chararray, username:chararray, request:chararray);
 USERACTIVITIES_ORDERED = ORDER USERACTIVITIES by username;
STORE USERACTIVITIES_ORDERED INTO '/D:/readyfornextinput/useractivities' USING org.apache.pig.piggybank.storage.CSVExcelStorage(',');

当我演示USERACTIVITIES_ORDERED时，我发现它进展顺利。
但是，当我进行存储/转储时，我会遇到更棘手的问题。

它失败地说:
java.lang.RuntimeException:org.apache.hadoop.mapreduce.lib.input.InvalidInputException:输入路径不存在:file:/ D:/ pigsample_1749383998_1377684507424

当我尝试搜索这个pigsample_number文件时，可以在以下位置找到它:
D:/ tmp // mapred / local / localRunner

我不确定这是怎么回事。
我不确定它的windows / cygwin相关问题还是有人在Linux上也看到了。

作为引用，您可以在此处找到附加的stacktrace:

2013-08-28 15:38:28,863 [Thread-46] WARN org.apache.hadoop.mapred.LocalJobRunner - job_local_0004 java.lang.RuntimeException: org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/D:/pigsample_1749383998_1377684507424 at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.partitioners.WeightedRangePartitioner.setConf(WeightedRangePartitioner.java:157) at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:62) at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117) at org.apache.hadoop.mapred.MapTask$NewOutputCollector.(MapTask.java:677) at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:756) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370) at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:214) Caused by: org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/D:/pigsample_1288777582_1377684802262 at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:235) at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigFileInputFormat.listStatus(PigFileInputFormat.java:37) at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:252) at org.apache.pig.impl.io.ReadToEndLoader.init(ReadToEndLoader.java:190) at org.apache.pig.impl.io.ReadToEndLoader.(ReadToEndLoader.java:126) at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.partitioners.WeightedRangePartitioner.setConf(WeightedRangePartitioner.java:131) ... 6 more

对此的任何帮助将非常有用。

Answer 1

看起来这仅在cygwin环境下可重现。
我已经记录了根本原因和解决方案here