c++ - 我可以让共享库构造函数在重定位之前执行吗？

Question

背景:我正在尝试实现一个系统 like that described in this previous answer .简而言之，我有一个链接共享库的应用程序(目前在 Linux 上)。我希望共享库在运行时在多个实现之间切换(例如，基于主机 CPU 是否支持某个指令集)。

在最简单的情况下，我有三个不同的共享库文件:

• libtest.so:这是库的“原始”版本，将用作后备案例。
• libtest_variant.so:这是库的“优化”变体，如果 CPU 支持，我想在运行时选择它。它与 libtest.so 兼容。
• libtest_dispatch.so:这是负责选择在运行时使用哪个库变体的库。

为了与上面链接的答案中建议的方法保持一致，我正在执行以下操作:

• 最终应用程序链接到 libtest.so。
• 我将 libtest.so 的 DT_SONAME 字段设置为 libtest_dispatch.so。因此，当我运行该应用程序时，它将加载 libtest_dispatch.so 而不是实际的依赖项 libtest.so。

• libtest_dispatch.so 被配置为具有如下所示的构造函数(伪代码):

  __attribute__((constructor)) void init()
  {
      if (can_use_variant) dlopen("libtest_variant" SHLIB_EXT, RTLD_NOW | RTLD_GLOBAL);
      else dlopen("libtest" SHLIB_EXT, RTLD_NOW | RTLD_GLOBAL);
  }
  

  调用 dlopen() 将加载提供适当实现的共享库，然后应用程序继续。

结果: 这有效!如果我在每个共享库中放置一个同名函数，我可以在运行时验证是否根据调度库使用的条件执行了适当的版本。

问题: 以上适用于我在链接问题中演示的玩具示例。具体来说，如果库只导出函数，它似乎工作正常。但是，一旦有变量在起作用(无论它们是具有 C 链接的全局变量还是像 typeinfo 这样的 C++ 构造)，我会在运行时遇到未解析的符号错误。

下面的代码演示了这个问题:

libtest.h:

extern int bar;

int foo();

libtest.cc:

#include <iostream>

int bar = 2;

int foo()
{
    std::cout << "function call came from libtest" << std::endl;
    return 0;
}

libtest_variant.cc:

#include <iostream>

int bar = 1;

int foo()
{
    std::cout << "function call came from libtest_variant" << std::endl;
    return 0;
}

libtest_dispatch.cc:

#include <dlfcn.h>
#include <iostream>
#include <stdlib.h>

__attribute__((constructor)) void init()
{
    if (getenv("USE_VARIANT")) dlopen("libtest_variant" SHLIB_EXT, RTLD_NOW | RTLD_GLOBAL);
    else dlopen("libtest" SHLIB_EXT, RTLD_NOW | RTLD_GLOBAL);
}

test.cc:

#include "lib.h"
#include <iostream>

int main()
{
    std::cout << "bar: " << bar << std::endl;
    foo();
}

我使用以下方法构建库和测试应用程序:

g++ -fPIC -shared -o libtest.so libtest.cc -Wl,-soname,libtest_dispatch.so
g++ -fPIC -shared -o libtest_variant.so libtest_variant
g++ -fPIC -shared -o libtest_dispatch.so libtest_dispatch.cc -ldl
g++ test.cc -o test -L. -ltest -Wl,-rpath,.

然后，我尝试使用以下命令行运行测试:

> ./test
./test: symbol lookup error: ./test: undefined symbol: bar
> USE_VARIANT=1 ./test
./test: symbol lookup error: ./test: undefined symbol: bar

失败。如果我删除全局变量 bar 的所有实例并尝试仅分派(dispatch) foo() 函数，那么它一切正常。我试图弄清楚为什么以及是否可以在存在全局变量的情况下获得我想要的效果。

调试:为了尝试诊断问题，我在运行测试程序时对 LD_DEBUG 环境变量进行了一些尝试。问题似乎归结为:

The dynamic linker performs relocations of global variables from shared libraries very early in the loading process, before constructors from shared libraries are called. Therefore, it tries to locate some global variable symbols before my dispatch library has had a chance to run its constructor and load the library that will actually provide those symbols.

这似乎是一个很大的障碍。有什么方法可以改变这个过程，以便我的调度程序可以先运行吗？

我知道我可以使用 LD_PRELOAD 预加载库。然而，这对我的软件最终运行的环境来说是一个繁琐的要求。如果可能的话，我想找到一个不同的解决方案。

经过进一步审查，似乎即使我LD_PRELOAD 库，我也有同样的问题。在全局变量符号解析发生之前，构造函数仍然没有被执行。使用预加载功能只是将所需的库推到库列表的顶部。

Answer 1

Failure. If I remove all instances of the global variable bar and try to dispatch the foo() function only, then it all works.

这在没有全局变量的情况下工作的原因是函数(默认情况下)使用惰性绑定(bind)，但变量不能(原因很明显)。

如果您的测试程序与 -Wl,-z,now 链接(这将禁用函数的惰性绑定(bind))，则在没有任何全局变量的情况下，您会遇到完全相同的失败。

您可以通过将主程序引用的每个全局变量的实例引入调度库来解决此问题。

与您的其他答案所暗示的相反，这不是执行特定于 CPU 的分派(dispatch)的标准方法。

有两种标准方法。

旧的:使用 $PLATFORM 作为 DT_RPATH 或 DT_RUNPATH 的一部分。内核会传入一个字符串，比如x86_64，或者i386，或者i686作为aux的一部分vector，ld.so 将用该字符串替换 $PLATFORM。

这允许发行版发布 i386 和 i686 优化库，并让程序根据运行的 CPU 选择合适的版本。

不用说，这不是很灵活，并且(据我所知)不允许您区分各种 x86_64 变体。

新热点是IFUNC dispatch，记录here .这就是 GLIBC 目前用来提供不同版本的 e.g. memcpy 取决于它运行在哪个 CPU 上。还有 target 和 target_clones 属性(记录在同一页上)允许您编译例程的多个变体，针对不同的处理器进行优化(如果您不想在汇编中对它们进行编码)。

I'm trying to apply this functionality to an existing, very large library, so just a recompile is the most straightforward way of implementing it.

在这种情况下，您可能必须将二进制文件包装在 shell 脚本中，并根据 CPU 将 LD_LIBRARY_PATH 设置为不同的目录。或者让用户在运行程序之前获取您的脚本。

target_clones does look interesting; is that a recent addition to gcc

我相信 IFUNC 支持大约有 4-5 年历史，GCC 中的自动克隆大约有 2 年历史。所以是的，最近。