c - 重新排序内存中的字节，然后写入文件

Question

我在内存中有一个数据 block ，从 memory_ptr 开始。该程序所做的是对每个 qword 进行字节反转，然后将其写入文件。比如18171615141312112827262524232221会写成11121314151617182122232425262728等

我希望它尽可能快地运行，所以我将翻转的字节存储在内存中，然后在它达到 8KB 时将其写入文件以减少对 fwrite() 。但是，我觉得有一种更简单、更快速的方法可以执行此操作，而不是增加 malloc 的大小以进一步减少对 fwrite 的调用。关于如何加快速度的任何想法？

#define htonll(x) (((uint64_t)htonl((x) & 0xFFFFFFFF) << 32) | htonl((x) >> 32))

uint64_t data;
int total_chunks = 1000;
int chunk_size = 8192;
char *tmp = malloc(8192);
FILE *fp = fopen("data.bin","wb");

for (int i = 0; i < total_chunks; i++) {
    for (int j = 0; j < chunk_size; j+=8) {
        memcpy(&data, memory_ptr, 8);
        data = htonll(data);
        memcpy(tmp+j, &data, 8);
        memory_ptr+=8;
    }
    fwrite(tmp, 8192, 1, fp);
    memset(tmp,0,8192);
}

Answer 1

TL;DR:调整您的编译器标志(如果您的编译器不是很聪明，则使用 SIMD 内在函数/库)和内存映射文件。如果这还不够，您可以将多线程与 OpenMP 和较低级别的 API 结合使用，从而避免许多开销，但代价是代码的可移植性较差且代码更复杂。

使用 SIMD 指令进行矢量化

假设您使用的编译器已调整为生成快速代码并且其启发式算法足以生成它，那么您当前的代码已经相当不错了。请注意，具有较小固定大小的 memcpy 和 memset 函数调用已由编译器优化(至少对于 Clang、GCC 和 ICC)。 Clang 确实为带有标志的 x86-64 现代处理器生成了近乎最佳的代码，尤其是旧的)。下面是热循环生成的汇编代码:

.LBB0_7:
        vmovdqu ymm0, ymmword ptr [r14 + 8*rcx]
        vmovdqu ymm1, ymmword ptr [r14 + 8*rcx + 32]
        vmovdqu ymm2, ymmword ptr [r14 + 8*rcx + 64]
        vmovdqu ymm3, ymmword ptr [r14 + 8*rcx + 96]
        vpshufb ymm0, ymm0, ymm4
        vpshufb ymm1, ymm1, ymm4
        vpshufb ymm2, ymm2, ymm4
        vpshufb ymm3, ymm3, ymm4
        vmovdqu ymmword ptr [rbx + 8*rcx], ymm0
        vmovdqu ymmword ptr [rbx + 8*rcx + 32], ymm1
        vmovdqu ymmword ptr [rbx + 8*rcx + 64], ymm2
        vmovdqu ymmword ptr [rbx + 8*rcx + 96], ymm3
        add     rcx, 16
        cmp     rcx, 1024
        jne     .LBB0_7

代码仅在几个周期内一次打乱 128 个字节(在我的 Intel Skylake 处理器上只有 4 个周期)!

如果您不确定是否使用 AVX2 指令集，请不要担心，因为 GCC 和 Clang 等编译器已经使用 AVX 指令集(几乎所有 x86-64 现代处理器都可用)生成了相当不错的代码。你可以在 godbold 上看到.使用标志 -mavx 足以生成快速代码(用于 Clang/GCC/ICC)。对于 MSVC，您需要分别使用标志 /arch:AVX 和 /arch:AVX2。如果您想以较慢的代码为代价支持几乎所有 x86-64 处理器，您可以使用 -mssse3 标志来使用 SSE 而不是 AVX。

关于支持 SIMD 指令集的注意事项:steam survey报告称，87% 的用户支持 AVX2，95% 支持 AVX，99.3% 支持 SSSE3。

请注意，同样的事情也适用于其他硬件架构:您主要只需要启用编译器的良好标志。

---

其他优化

不需要最后的 memset(tmp,0,8192); 调用，因为 tmp 只是写入的。您可以将其删除。

fwrite 通常非常快，因为 libc 在内部使用它自己的(相当大的)缓冲区，它应该相对适应您的硬件。然而，需要复制从操作系统 (OS) 请求的数据缓冲区，并且大多数内核实现(例如 Linux，由于与使用 SIMD 指令相关的复杂技术原因)无法有效地完成此复制。就硬盘驱动器 (HDD) 的性能而言，此副本通常不是问题。但是，它可能会给快速固态驱动器 (SSD) 带来开销，尤其是能够写入数 GiB/s 的高吞吐量 NVMe 驱动器。一种加快速度的方法是使用映射内存文件(有关更多信息，请参阅 here、here 和 there)。

如果您有一个非常快的 SSD 并且使用内存映射文件还不够，那么您可以尝试使用 OpenMP 并行化循环。这在您的情况下应该非常简单，因为循环是令人尴尬的并行:只需添加一个 #pragma omp parallel for。请注意，此解决方案可能较慢，有些 SDD 较慢，并且在 HDD 上肯定会较慢(不喜欢非顺序访问或并行访问)。

如果这仍然不够，您可以尝试使用新的 IO_uring 的 liburing 等实验性解决方案。内核接口(interface)仅在 Linux 上可用(Windows 似乎有一个名为 IoRing 的类似接口(interface))。该接口(interface)旨在避免复制(即零复制)和系统调用(热循环中没有系统调用)，从而产生非常快速的代码，几乎没有开销。但是，直接使用它会使您的代码的可移植性降低并且更加复杂。上面的方法应该对你来说已经足够了。