c# - .net:DLL 的依赖加载与 EXE 的依赖加载不同吗？

Question

我有一个很奇怪的问题。我做了一些非常疯狂的事情:我使用 IKVM 将使用 sbt-assembly 插件组装的 hadoop 库的胖 uber-jar 转换为 dll。我写了一个小测试程序，归结为以下内容:

var u = new java.net.URI("hdfs://my-namenode:8020/");
var fs = org.apache.hadoop.fs.FileSystem.get(u, new org.apache.hadoop.conf.Configuration());
foreach(var s in fs.listStatus(new org.apache.hadoop.fs.Path("/"))) {
    Console.WriteLine(s.getPath().toString());
}

当我在控制台应用程序中运行它并添加我的 hadoop.dll 和所需的 IKVM dll 作为引用时，这会列出我的 HDFS 的内容。

但是，当我将这段代码准确地包装在一个 DLL 中，将 SAME 依赖项添加到该 DLL 并从我的控制台应用程序调用它时，我得到:

No FileSystem for scheme: hdfs

当我通过 fs.hdfs.impl 键在我的 Hadoop conf 中指定正确的类名时，我得到一个 ClassNotFoundException。

依赖项在可执行文件中的解析方式与在 DLL 中的解析方式是否不同，或者它可能是 IKVM 特定行为？

编辑:另一个奇怪的行为:当我在我的控制台应用程序中构建一次 FileSystem 然后在 DLL 中调用该方法时，它运行。

Answer 1

我自己找到了答案(再次......)

它不必按照 .net 处理依赖项加载的方式执行，但它是 IKVM(以及在这方面的 Java)处理类动态加载的方式。

我仔细研究了 Hadoop 源代码，发现了以下内容:

private ClassLoader classLoader;
{
  classLoader = Thread.currentThread().getContextClassLoader();
  if (classLoader == null) {
    classLoader = Configuration.class.getClassLoader();
  }
}

行 classLoader = Thread.currentThread().getContextClassLoader(); 在这里特别重要。我的控制台应用程序的上下文类加载器是它的上下文 - 没有引用任何 Hadoop 类，因此在将 fs.hdfs.impl 显式设置为 时出现 ClassNotFoundException >org.apache.hadoop.hdfs.DistributedFileSystem。

幸运的是，Configuration类有一个方法setClassLoader，所以在构造配置时这样做:

var conf = new org.apache.hadoop.conf.Configuration();
conf.setClassLoader(conf.getClass().getClassLoader());
conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

有效!这是因为 conf.getClass().getClassLoader() 返回 conf 上下文的类加载器 - 即 hadoop.dll 转换的 uber - 有类的 jar 。

尽管如此，仍然有必要使用 fs.XXXX.impl 显式声明文件系统类，因为自动文件系统解析机制如下所示:

private static void loadFileSystems() {
  synchronized (FileSystem.class) {
    if (!FILE_SYSTEMS_LOADED) {
      ServiceLoader<FileSystem> serviceLoader = ServiceLoader.load(FileSystem.class);
      for (FileSystem fs : serviceLoader) {
        SERVICE_FILE_SYSTEMS.put(fs.getScheme(), fs.getClass());
      }
      FILE_SYSTEMS_LOADED = true;
    }
  }

如您所见，文件系统在此处解析:

ServiceLoader<FileSystem> serviceLoader = ServiceLoader.load(FileSystem.class);

此方法再次使用了 Thread.currentThread().getContextClassLoader()，这意味着我的控制台应用程序没有 hadoop 类。

所以，tl;dr:在创建 Configuration 之后，手动将其 ClassLoader 设置为 dll 的上下文类加载器。