java - 如何在AWS Lambda中解决java.lang.RuntimeException:java.lang.ClassNotFoundException:org.apache.hadoop.fs.LocalFileSystem？

Question

设置hadoop configuration后，即使jar文件中存在java.lang.RuntimeException: java.lang.ClassNotFoundException: org.apache.hadoop.fs.LocalFileSystem，我也得到org.apache.hadoop.fs.LocalFileSystem。

Answer 1

解决方案是从classloader函数“删除” getClassByName。例如。使用org.apache.hadoop.conf.Configuration重写的方法创建getClass，例如:

Configuration hadoopConfig = new Configuration() {
    public Class<?> getClassByName(String name) throws ClassNotFoundException {
      return Class.forName(name);
    }

};

注释

这只是工作实现。原始实现使用Class.forName(name, true, classLoader);，因此新的覆盖
如果这样，则代码可能无法正常工作，添加if语句以改变org.apache.hadoop.fs.LocalFileSystem的逻辑

发生错误，并且仅针对AWS lambda修复。在其他环境(例如真正的Hadoop集群)中，这可能
不合适的解决方案