Linux驱动开发: how to investigate copy_to_user() timing?

Question

我正在开发 Linux 驱动程序，发现在某些情况下 copy_to_user() 花费的时间比预期的要长得多。我想它可能正在等待 mm->mmap_sem 信号量，也许吧？在不利情况下似乎还有额外的 CPU 事件。

如果您能提供有关如何进一步调查此问题和/或如何处理的建议，我将不胜感激。

更多细节:

该平台有一个 I7 和 2 个以 2.5GHz 运行的物理内核，32 位 X86 构建 Linux 2.6.32 .驱动程序通过 PCI Express 接受数据，并通过字符设备将其提供给用户空间。测试进程以高优先级运行，读入我认为已分页的缓冲区。目标是支持相当高的数据速率，目前为每秒几百兆比特，最终约为 1Gbps，持续至少几秒钟。

我的测试涉及在一秒左右读取 25MB 数据。有了正确的数据集，驱动程序可以以 100Mbps 或 400Mbps 可靠地接收。对于略有不同的 100Mbps 数据，它偶尔会失败。驱动程序和测试工具都不关心数据的内容，所以我希望它不会有什么不同。到达时间和突发性可能存在统计差异，但在阅读时间戳列表时没有大到足以脱颖而出的程度。

问题的直接原因是接收缓冲区溢出(大约 1MB)。这是由于进程读取速度太慢，进而是copy_to_user()耗时过长的结果。一个副本通常传输几百个字节。对于良好的 100Mbps 输入，此函数相当快地返回，根据循环计数判断，通常低于一微秒。对于有问题的 100Mbps 数据，一些调用需要长达 10 毫秒，而且这种情况可能会发生多次，而不仅仅是一次性的。

I7Z 工具 ( link here ) 指示 CPU 事件的差异。在处理良好的 100Mbps 数据时，一个内核大部分时间处于电源状态 C1，另一个主要处于 C6(低功耗)。对于坏数据，一个核心主要处于 C0(最活跃状态)，另一个核心可能将 0% 到 70% 的时间花费在 C1 中，其余主要在 C6 中。所以它看起来像是在进行正常处理加上大量额外的 C0。也许旋转很多？

驱动和测试工具相关部分的伪代码总结:

pseudo_interrupt_handler()
{
        if(DMA finished) {
                advance head;
                wake_up_interruptible();
        }
        if(new data && no DMA in progress) {
                start DMA into head;
        }
}

pseudo_file_read(filp, user buf, size)
{
        wait_event_interruptible(head != tail);

        while(head != tail && space in user buf) {
                copy_to_user(from tail);
                advance tail;
        }
        return total copied;
}

pseudo_test_process()
{
        buffer = malloc(25MB);
        write to each page in buffer; // page in

        while(buffer not full) {
                read(STDIN_FILENO, position in buffer, 4000B);
                advance position in buffer
        }
}

我目前没有令人满意的解决方法。我可以在驱动程序中缓冲更多数据，但这只能帮助解决暂时的延迟。这个问题似乎正在系统地减慢速度并限制整体数据速率。如果没有其他解决方案，mmap 是可能的，但这需要对现有应用软件进行大量更改。

更新(一月)。感谢您的建议。我现在正在通过扩大和重组缓冲区来解决这个问题。我们现在使用较少数量的较大 copy_to_user() 操作，因此一小部分较慢的操作影响较小。

更新(六月)。正如建议的那样，我已经实现了一个 mmap() 接口(interface)，它确实绕过了这个问题。没有更多的 copy_to_user() 瓶颈。

Answer 1

copy_to_user() 和 copy_from_user() 总是涉及复制数据，这本质上是一个缓慢的过程(当然，取决于观点)。为了获得最佳性能，唯一方法是“mmap”。请参阅以下来自 here 的摘录!

Memory mapping is the only way to transfer data between user and kernel spaces that does not involve explicit copying, and is the fastest way to handle large amounts of data.