gpt4 book ai didi

hadoop - Mapreduce和GlobStatus中的Null Pointer异常

转载 作者:行者123 更新时间:2023-12-02 21:25:16 24 4
gpt4 key购买 nike

我最近在编写Mapreduce应用程序时使用Hadoop FileSystem API和GlobStatus时遇到一个问题。

这是驱动程序的代码段。

FileSystem fs = FileSystem.get(URI.create(args[0]), conf);
Path path = new Path(args[0] + args[1]);

FileStatus[] status = fs.globStatus(path);
Path[] paths = FileUtil.stat2Paths(status);

这是我如何调用程序

yarn jar MyMapReduceTest01.jar com.abc.test.MyMapRedTestDriver /user/root/raw_data/ abc*



这导致以下异常
    Exception in thread "main" java.lang.NullPointerException
at com.abc.test.MyMapRedTestDriver.run(MyMapRedTestDriver.java:42)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
at com.abc.test.MyMapRedTestDriver.main(MyMapRedTestDriver.java:77)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

/ user / root / raw_data /目录中的文件名为
abc_01.txt
abc_02.txt
...

最佳答案

在Hadoop文件系统API中处理globstatus的方式似乎存在问题。

为了使上述程序能够在不更改任何代码的情况下工作,我只需要将命令更改为

yarn jar MyMapReduceTest01.jar com.abc.test.MyMapRedTestDriver /user/root/raw_data/ abc_*

关于hadoop - Mapreduce和GlobStatus中的Null Pointer异常,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36297388/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com