cuda - 具有映射内存、统一虚拟寻址和统一内存的 GPU 内存超额订阅

Question

我正在考虑在 GPU 上处理数据的可能性，这对 GPU 内存来说太大了，我有几个问题。

如果我理解正确的话，对于映射内存，数据驻留在主内存中，并且仅在访问时传输到 GPU，因此分配超过 GPU 内存的内存应该不是问题。

UVA类似于映射内存，但数据可以同时存储在CPU和GPU内存中。但是 GPU 是否有可能在充满自己的数据的同时访问主内存(与映射内存一样)？在这种情况下会发生内存溢出吗？我已经读过，使用映射内存，数据直接进入本地内存，而不是先传输到全局内存，在这种情况下，不应该有任何溢出。这是真的吗？如果是的话，UVA 也是如此吗？

在 CUDA 6.0 中，UM 不允许超额订阅 GPU 内存(并且通常不允许分配比 GPU 拥有的内存更多的内存，即使在主内存中也是如此)，但是对于 CUDA 8.0，它成为可能(https://devblogs.nvidia.com/parallelforall/beyond-gpu-memory-limits-unified-memory-pascal/) .我做对了吗？

Answer 1

是的，使用映射(即固定，“零拷贝”)方法，数据保留在主机内存中并按需传输到 GPU，但永远不会驻留在 GPU 内存中(除非 GPU 代码将其存储在那里) .如果您多次访问它，您可能需要从主机多次传输它。

UVA(统一虚拟寻址，请参阅 here)与 UM(统一内存，请参阅 here)或托管内存 (== UM) 不同，因此我将这种情况称为 UM，而不是 UVA .

在 pre-pascal 设备上使用 UM，UM“托管”分配将在 CPU 和 GPU 之间自动移动，但会受到一些限制，但您不能超额订阅 GPU 内存。所有普通 GPU 分配加上 UM 分配的最大数量不能超过 GPU 物理内存。

借助 UM 加上 CUDA 8.0 或更高版本以及 Pascal 或更新的 GPU，您可以使用 UM(“托管”)分配超额订阅 GPU 内存。然后这些分配名义上限制为系统内存的大小(减去对系统内存的任何其他需求)。在这种情况下，CUDA 运行时使用请求分页方法自动在主机和设备内存之间来回移动数据。

UVA 并不是 CUDA 中的实际数据管理技术。它是一种支持某些功能的基础技术，例如映射内存的某些方面，并且通常支持 UM 功能。