c++ - CUDA - 统一内存(至少是 Pascal)

Question

我想了解一下统一内存、它的真正工作原理以及如何有效地使用它。

据我所知，我们使用cudaMallocManaged(ptr, size);来分配统一内存数组。由于 Pascal 架构，可以将大小设置为大于 GPU 上可用的物理内存。

假设现在我有一台 GC，内存为 4GB，主机内存为 32GB，文件大小为 1TB。我想处理这个 1TB 的文件，我该如何处理？

如果我理解的好，我可以把文件放在统一内存中，但是这个统一数组和文件之间的链接是如何进行的呢？这是否意味着我必须 memcpy 我用 cudaMallocManaged 分配的指针中的整个文件？

最后，请告诉我我的看法是否正确。如果 GPU 引发未命中，则 CPU 将发送它存储在其 RAM 中的数据，如果不是从磁盘发送的话。它有点简化，但如果它像这样工作，则意味着数据需要在统一数组中。

感谢您的帮助。

Answer 1

我的回答假设您在 Linux 上运行 CUDA 9.x 或更高版本、Pascal 或 Volta GPU。

您将能够超额订阅 GPU 内存，最大约为主机内存的大小(即主机操作系统允许您分配的任何内存)，减去任何内存分配过程中典型的合理数量(您不应该期望分配主机内存的每一个最后字节，同样不应该尝试对托管内存分配做同样的事情)。

统一内存和文件或存储在磁盘上的任何东西之间没有联系。

正如您可能无法将整个 1TB 文件加载到 32GB RAM 中一样，您也无法使用托管内存一次访问所有文件。无论主机操作系统允许您分配/加载多少数量，您都可以使用 GPU 的大小。

因此，为了处理这个 1TB 的文件，您可能需要想出一种算法，将其分解成适合系统 RAM 的部分。这个概念完全独立于托管内存。此后，如果您想使用 CUDA 访问系统 RAM 中的文件部分，您可以使用托管内存，包括超额订阅，如果您愿意的话。

将文件分成几部分的确切过程将取决于您正在进行的处理类型，并且对 CUDA 没有特别的依赖性。