C++ 放大器 : Transferring data async and keeping data on accelerator

Question

我有一个经常被调用的函数，它非常适合并行处理，所以我研究了 C++ 放大器作为初学者。该函数接受三个输入:

1. 一个浮点 vector ，它是输入数据
2. 常系数 vector ，在整个调用过程中保持不变
3. 一个输出 vector ，结果写入其中。

显然，#1 每次调用都必须复制到 GPU 上。为此，我使用了堆栈管理的常量数组<>，效果很好。

对于 #2，最佳情况是以某种方式将 vector 保存在 GPU 内存中，因为它是常量。这可能使用放大器吗？还是每次调用 parallel_for_each 时都必须复制它，类似于 #1？

对于 #3，是否可以在 GPU 上分配缓冲区并将其复制回来，而不是在 cpu 堆栈上创建一个空缓冲区，复制它，并在结果写入后复制回来？

最后一件事，因为 parallel_for_each 调用本质上是异步的 - 并且将被 #3 的析构函数或 array_view::synchronize() 同步，是否可以离开当前函数(和堆栈空间)，做一些同时 GPU 正在处理其他内容，然后在稍后“同步”？

它需要一个动态分配的 array_view 来避免销毁时的 synchronize()，但是当我使用指针而不是堆栈管理的对象时，该函数似乎无法编译:

error C3581: unsupported type in amp restricted code
pointer or reference is not allowed as pointed to type, array element type or data member type (except reference to concurrency::array/texture)

此外，对于那些在 OpenCL 等其他架构方面有经验的人，我在那里的运气会更好吗？

Answer 1

1 - 是的。如果您传递一个 const array_view 作为输入，它将不会被复制回主机内存。

std::vector<float> cpu_data(20000000, 0.0f);
array_view<const float, 1> cpu_data_view(cpu_data.size(), cpu_data);

2 - 根据系数数组的大小，您可以做以下几件事之一；

a - 将其存储在 parallel_for_each lambda 中的本地数组中。这很方便，但会耗尽(宝贵的)本地内存，因此只有在数组非常小的情况下才是现实的。

array<float, 1> gpu_data(400);
std::vector<float> cpu_data(gpu_data.extent.size(), 1.0f);
copy(cpu_data.begin(), gpu_data);

在这种情况下，gpu_data 将可用于所有 AMP 代码，前提是 lambda 捕获它。

b - 创建一个 array 并在执行任何 AMP 代码之前明确地将常量数据复制到其中。

c - 如果每个线程多次访问它，请考虑将其加载到 tile_static 内存中。

3 - 您仍然可以使用 array_view 来保存您的输出数据，但在执行 parallel_for_each 之前对其调用 discard_data 将防止不必要的复制到 GPU 内存。

std::vector<float> cpu_output_data(20000000, 0.0f);
array_view<float, 1> output_data_view(cpu_output_data.size(), cpu_output_data);
output_data_view.discard_data();

**异步 - ** 是的，完全有可能做到这一点。您可以将 AMP 与 C++ future 和异步操作相结合，以在 CPU(或另一个 GPU)上同时执行其他工作。请记住，CPU 参与控制 GPU 上的工作调度以及将数据传入和传出。因此，如果您使 CPU 过载，那么 GPU 性能可能会受到影响。

关于您的编译器错误，如果不查看代码，很难判断问题出在哪里。完全可以执行以下操作:

std::unique_ptr<concurrency::array_view<int, 2>> data_view;

您可能想看看 examples covered in the C++ AMP book .它们在 CodePlex 上可用，涵盖了很多此类场景。