linux - Fork 系统调用失败后 rax 的返回值是多少？

Question

我知道在 C 中调用 fork() 如果有错误会返回 -1，但我想知道当你调用 sys_fork 时错误返回值是什么> 在组装中。

我可能通常假设它也返回 -1 但我已经处理过 sys_brk 并且汇编中的原始系统调用返回与 C Brk() 包装器不同的东西。

有谁知道汇编中的 fork 错误返回值是什么？

(我在 Linux 上做 64 位 NASM 汇编)

Answer 1

首先要注意的是 C 库包装器 fork(2)调用 sys_clone而不是 sys_fork .

C library/kernel differences

Since version 2.3.3, rather than invoking the kernel's fork() system
call, the glibc fork() wrapper that is provided as part of the NPTL
threading implementation invokes clone(2) with flags that provide the
same effect as the traditional system call.

---

introduction to the section 2 of the Linux manual解释如何在一般上下文中解释系统调用的返回值:

RETURN VALUE

On error, most system calls return a negative error number (i.e., the
negated value of one of the constants described in errno(3)). The C
library wrapper hides this detail from the caller: when a system call
returns a negative value, the wrapper copies the absolute value into
the errno variable, and returns -1 as the return value of the
wrapper.

因此，对于大多数 系统调用，EAX/RAX 在出错时保持-ESOMETHING，或在成功时保持非负结果。 libc 包装器对其进行解码以实现第 2 部分手册页中描述的错误设置和返回 -1 行为，该部分主要记录包装器； “C 库/内核差异”的详细信息有时可以在 Linux 手册页的注释部分找到。

重要的是要注意，这适用于大多数但不是所有系统调用，如第一段所述。 sys_fork 在这方面并不特殊。一些有趣的特殊情况是 getpriority，如 errno(3) 开头所述。 ^更多内容，以及mmap。 (有效指针可以设置其高位，因此区分错误和成功需要其他技巧，like checking the low bits since a successful mmap always returns a page-aligned address。)手册页中未记录这些 ABI 详细信息。

---

为了查明 sys_fork 调用是否成功，测试负值就足够了:

test eax, eax
jl _error_handler              ;See Peter Cordes's comments below

我已经包含了关于 C 库包装器的部分，例如 fork(2)因为它提供了一种实用的方法来找出错误编号。
errno 的取反值是系统调用可能返回的错误值。

EAGAIN
ENOMEM
ENOSYS
ERESTARTNOINTR

通常，C 库包装器可以在将返回值写入errno 之前添加、删除或转码返回值，因此这是可能失败的。

找出可能的返回值的 final方法是查看源代码。
例如，do_fork ，由 sys_fork 调用，除了上面列出的值外，还可以返回 EINVAL 和 EPERM。
其他值也是可能的，我还没有深入研究所有的嵌套函数调用。

sys_clone 也会调用 do_fork 所以我假设 clone(2)可以返回 fork(2) 可以返回的所有错误号。

---

调查 sys_getpriority 的案例上面提到了一条评论

/*
 * Ugh. To avoid negative return values, "getpriority()" will
 * not return the normal nice-value, but a negated value that
 * has been offset by 20 (ie it returns 40..1 instead of -20..19)
 * to stay compatible.
 */

因此，似乎 Linux 系统调用总是在错误时返回负值，C 库包装器试图将这些值规范化为 errno，引入一个额外的复杂层。

正如我们从 mmap 案例中看到的那样，设置符号位并不总是意味着它是一个错误值。根据this answer (值得在下面的 Peter Cordes 评论中看到)，[-4095, -1] 范围内的值始终表示错误，但其他负值不应该。