c++ - 如何提高内存使用性能？

Question

我有一些数据:

MyDataType *deviceData, *hostData;

我为主机数据分配固定内存，为设备数据分配内存:

cudaMallocHost(&hostData, dataSize * sizeof(MyDataType));
cudaMalloc(&deviceData, dataSize * (MyDataType));

然后我使用这些数据。每个时间步我将数据上传到 CUDA，处理数据并从 CUDA 下载数据:

cudaMemcpy(deviceData, hostData, dataSize * sizeof(MyDataType), cudaMemcpyHostToDevice);

//processing data

cudaMemcpy(hostData, deviceData, dataSize * sizeof(MyDataType), cudaMemcpyDeviceToHost);

但是这个过程太慢了。将数据复制到 CUDA 大约需要所有工作时间的 3-5%。从 CUDA 复制数据大约占所有工作时间的 80-85%。

如何减少数据传输时间？

Answer 1

事实证明这是时间问题和内核启动的异步性质，而不是数据传输速率慢。定时设备到主机的传输包括先前内核的执行，因为 cudaMemcpy 调用是一系列内核启动后的第一个阻塞调用。我们没有看到问题中的任何实质代码，但解决方案正在改变这种类型的 API 调用序列:

cudaMemcpy(deviceData, hostData, dataSize * sizeof(MyDataType), cudaMemcpyHostToDevice);

//processing data by launching kernels

cudaMemcpy(hostData, deviceData, dataSize * sizeof(MyDataType), cudaMemcpyDeviceToHost);

为此:

cudaMemcpy(deviceData, hostData, dataSize * sizeof(MyDataType), cudaMemcpyHostToDevice);

//processing data by launching kernels

cudaDeviceSynchronize(); // host code blocks here instead
cudaMemcpy(hostData, deviceData, dataSize * sizeof(MyDataType), cudaMemcpyDeviceToHost);