gpt4 book ai didi

apache-spark - 调用 o67.load : java. lang.NoClassDefFoundError: org/apache/hadoop/fs/staging/StagingDirectoryCapable 时出错

转载 作者:行者123 更新时间:2023-12-02 20:19:08 33 4
gpt4 key购买 nike

场景如下:

我正在尝试通过 Spark 读取 EMR 来计算 s3 位置中文件的记录数。

这是我得到的错误:

调用 o67.load 时:java.lang.NoClassDefFoundError:org/apache/hadoop/fs/staging/StagingDirectoryCapable。

该错误是间歇性的,有时会突然出现并且时不时地工作正常。

使用的 Emr 版本 - 5.29.0

最佳答案

org/apache/hadoop/fs/staging/StagingDirectoryCapable.



那必须是 EMR 独有的类/接口(interface);它不在 ASF 代码库中。也许有类路径问题

关于apache-spark - 调用 o67.load : java. lang.NoClassDefFoundError: org/apache/hadoop/fs/staging/StagingDirectoryCapable 时出错,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61630578/

33 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com