java - 错误:运行Map减少作业时出现org/jdom/JDOMException

Question

嗨，我正在尝试使用map reduce框架解析XML文件。我正在使用JDOM Parser来解析XML文件。但是当我在伪节点集群上运行map reduce代码时，它会产生以下错误。

WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications  
                       should implement Tool for the same.
INFO input.FileInputFormat: Total input paths to process : 1
INFO util.NativeCodeLoader: Loaded the native-hadoop library
WARN snappy.LoadSnappy: Snappy native library not loaded
INFO mapred.JobClient: Running job: job_201303281220_0016
INFO mapred.JobClient: map 0% reduce 0%
INFO mapred.JobClient: Task Id : attempt_201303281220_0016_m_000000_0, Status : FAILED
Error: org/jdom/JDOMException
INFO mapred.JobClient: Task Id : attempt_201303281220_0016_m_000000_1, Status : FAILED
Error: org/jdom/JDOMException
INFO mapred.JobClient: Task Id : attempt_201303281220_0016_m_000000_2, Status : FAILED
Error: org/jdom/JDOMException
INFO mapred.JobClient: Job complete: job_201303281220_0016
INFO mapred.JobClient: Counters: 7
INFO mapred.JobClient: Job Counters
INFO mapred.JobClient: SLOTS_MILLIS_MAPS=7541
INFO mapred.JobClient: Total time spent by all reduces waiting after reserving slots  
                       (ms)=0
INFO mapred.JobClient: Total time spent by all maps waiting after reserving slots 
                       (ms)=0
INFO mapred.JobClient: Launched map tasks=4
INFO mapred.JobClient: Data-local map tasks=4
INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=0
INFO mapred.JobClient: Failed map tasks=1

我尝试下载JDOM 1.x jar，但仍然无法获得相同的错误。如果有人可以提出建议，那将是很大的帮助。

注意:我能够运行各种示例，例如单词计数，PI，因此我认为我的集群已正确建立。

提前致谢。

Answer 1

您需要确认并确保输入文件每行只有一个XML文档(例如，XML中没有换行)？有可能将map()方法传递给单行(您正在使用FileInputFormat)，但是使用嵌入式换行时，这些行仅包含部分XML文档。

例如，如果您的文件如下所示:

<root
    arg1=""
    arg2="">

</root>

然后将对五行中的每一行调用一次map()方法。没有任何行包含有效的XML文档。即使您的文件确实包含有效的XML，也会引发DOM解析错误5次