c++ - GCC: --whole-archive 静态链接到 pthread 的方法在最近的 gcc 版本中停止工作

Question

针对 pthread 的静态链接在 Linux 上是一个困难的话题。它曾经将 -lpthread 包装为 -Wl,--whole-archive -lpthread -Wl,--no-whole-archive (详细信息可以在这个answer)。

效果是符号(对于 pthread)为 strong, not weak 。从 Ubuntu 18.04 左右(gcc 5.4.0 和 gcc 7.4.0 之间)开始，这种行为似乎发生了变化，pthread 符号现在总是最终成为独立于 --whole-archive 选项的弱符号。

因此，-whole-archive 配方停止工作。我的问题的目的是了解工具链(编译器、链接器、标准库)最近发生了什么变化，以及可以采取哪些措施来恢复旧的行为。

示例:

#include <mutex>

int main(int argc, char **argv) {
  std::mutex mutex;
  mutex.lock();
  mutex.unlock();
  return 0;
}

在以下所有示例中，都使用了相同的编译命令:

g++ -std=c++11 -Wall -static simple.cpp  -Wl,--whole-archive -lpthread  -Wl,--no-whole-archive

之前，使用 -static 进行编译时，pthread 符号(例如 pthread_mutex_lock)很强(被 nm 标记为 T) ，但现在它们很弱(W):

Ubuntu 14.04:docker run --rm -it ubuntu:14.04 bash

$ apt-get update
$ apt-get install g++

$ g++ --version
g++ (Ubuntu 4.8.4-2ubuntu1~14.04.4) 4.8.4

$ nm a.out | grep pthread_mutex_lock
0000000000408160 T __pthread_mutex_lock
00000000004003e0 t __pthread_mutex_lock_full
0000000000408160 T pthread_mutex_lock

Ubuntu 16.04:docker run --rm -it ubuntu:16.04 bash

$ g++ --version
g++ (Ubuntu 5.4.0-6ubuntu1~16.04.12) 5.4.0 20160609

$ nm a.out | grep pthread_mutex_lock
00000000004077b0 T __pthread_mutex_lock
0000000000407170 t __pthread_mutex_lock_full
00000000004077b0 T pthread_mutex_lock

Ubuntu 18.04:docker run --rm -it ubuntu:18.04 bash

$ g++ --version
g++ (Ubuntu 7.4.0-1ubuntu1~18.04.1) 7.4.0

$ nm ./a.out  | grep pthread_mutex_lock
0000000000407010 T __pthread_mutex_lock
00000000004069d0 t __pthread_mutex_lock_full
0000000000407010 W pthread_mutex_lock

总结一下:

• Ubuntu 14.04 和 16.04:T pthread_mutex_lock(强符号)
• Ubuntu 18.04:W pthread_mutex_lock(弱符号)

在更复杂的示例中，这可能会导致段错误。例如，在这段代码中(未修改的文件可以在 here 中找到):

#include <pthread.h>
#include <thread>
#include <cstring>
#include <iostream>
#include <mutex>
#include <thread>
#include <vector>

std::mutex mutex;

void myfunc(int i) {
    mutex.lock();
    std::cout << i << " " << std::this_thread::get_id() << std::endl << std::flush;
    mutex.unlock();
}

int main(int argc, char **argv) {
    std::cout << "main " << std::this_thread::get_id() << std::endl;
    std::vector<std::thread> threads;
    unsigned int nthreads;

    if (argc > 1) {
        nthreads = std::strtoll(argv[1], NULL, 0);
    } else {
        nthreads = 1;
    }

    for (unsigned int i = 0; i < nthreads; ++i) {
        threads.push_back(std::thread(myfunc, i));
    }
    for (auto& thread : threads) {
        thread.join();
    }
}

尝试生成静态二进制文件失败，例如:

$ g++ thread_get_id.cpp -Wall -std=c++11 -O3 -static -pthread -Wl,--whole-archive -lpthread -Wl,--no-whole-archive
$ ./a.out
Segmentation fault (core dumped)

我尝试删除-O3、切换到clang++、切换到Gold链接器等。但它总是崩溃。根据我的理解，静态二进制文件崩溃的原因是基本函数(例如pthread_mutex_lock)最终没有成为强符号。因此，它们在最终的二进制文件中丢失，导致运行时错误。

除了 Ubuntu 18.04 之外，我还可以使用 gcc 10.0.0 在 Arch Linux 上重现相同的行为。但是，在 Ubuntu 14.04 和 16.04 上，可以创建并执行静态二进制文件，不会出现任何错误。

问题:

• 构建工具链(gcc 5.4.0 和 gcc 7.4.0 之间)发生了什么变化？ (大胆猜测:我看到了一个 pthread cleanup for C11 落在那个时间。也许这就是原因？)
• 这是一种回归，还是旧的解决方法不再正确。
• 如果不是回归，应该怎样做才能允许静态链接到 pthread？

Answer 1

新解决方法:-Wl,--whole-archive -lrt -lpthread -Wl,--no-whole-archive

<小时/>

正如 Federico 所指出的，添加 -lrt 可以防止崩溃。整个问题几乎肯定与 librt(实时扩展库)有关。它的计时函数(例如clock_gettime、clock_nanosleep)用于实现线程。

在 Ubuntu 16.04 和 18.04 之间，与这些功能相关的 glibc 也发生了变化。具体细节我没看懂，不过代码中有注释:

/* clock_nanosleep moved to libc in version 2.17; old binaries may expect the symbol version it had in librt. */

还有更新的提交消息:

commit 79a547b162657b3fa34d31917cc29f0e7af19e4c
Author: Adhemerval Zanella
Date: Tue Nov 5 19:59:36 2019 +0000

nptl: Move nanosleep implementation to libc

Checked on x86_64-linux-gnu and powerpc64le-linux-gnu. I also checked the libpthread.so .gnu.version_d entries for every ABI affected and all of them contains the required versions (including for architectures which exports __nanosleep with a different version).

总而言之，解决方法是添加-lrt。请注意，在某些示例(不是此处)中，顺序是相关的。从 gcc 中的测试和其他一些讨论中，我得到的印象是，首先链接 librt 会导致比 pthread 之后链接更少的问题。 (在一个示例中，似乎只有 -lpthread -lrt -lpthread 有效，但尚不清楚原因。)