c++ - CUDA 扩展 std::vector 以管理主机和设备数据-6ren

c++ - CUDA 扩展 std::vector 以管理主机和设备数据

转载作者：塔克拉玛干更新时间：2023-11-03 08:08:46

28

4

<分区>

我了解到 std::vector 是 C++ 中原始数组的一个很好的包装器，所以我开始使用它来管理我的 CUDA 应用程序 [1] 中的主机数据。由于必须手动分配和复制内容会使代码更复杂且可读性更差，所以我考虑扩展 std::vector。由于我不是很有经验，所以我想知道您对此有何看法。特别是在正确完成的情况下(例如隐式调用 std::vector 的析构函数，对吧？)并且如果您认为这是个好主意。

我写了一个小例子来说明这一点

#include <vector>
#include <cuda.h>

#include <cstdio>

void checkCUDAError(const char *msg)
{
    cudaError_t err = cudaGetLastError();
    if( cudaSuccess != err) {
        fprintf(stderr, "Cuda error: %s: %s.\n", msg, cudaGetErrorString(err));
        exit(EXIT_FAILURE);
    }
}

// Wrapper around CUDA memory
template<class T>
class UniversalVector: public std::vector<T>
{
    T* devicePtr_;
    bool allocated;

public:

    // Constructor
    UniversalVector(unsigned int length)
        :std::vector<T>(length), 
         allocated(false)
    {}

    // Destructor
    ~UniversalVector()
     {
        if(allocated)
            cudaFree(devicePtr_);
     }

    cudaError_t allocateDevice()
    {
        if(allocated) free(devicePtr_);
        cudaError_t err = 
            cudaMalloc((void**)&devicePtr_, sizeof(T) * this->size());
        allocated = true;
        return err;
    }

    cudaError_t loadToDevice()
    {
        return cudaMemcpy(devicePtr_, &(*this)[0], sizeof(T) * this->size(),
            cudaMemcpyHostToDevice);
    }

    cudaError_t loadFromDevice()
    {
        return cudaMemcpy(&(*this)[0], devicePtr_, sizeof(T) * this->size(),
            cudaMemcpyDeviceToHost);
    }

    // Accessors

    inline T* devicePtr() {
        return devicePtr_;
    }

};

__global__ void kernel(int* a)
{
    int i = threadIdx.x;
    printf("%i\n", a[i]);
}

int main()
{
    UniversalVector<int> vec(3);
    vec.at(0) = 1;
    vec.at(1) = 2;
    vec.at(2) = 3;

    vec.allocateDevice();
    vec.loadToDevice();

    kernel<<<1, 3>>>(vec.devicePtr());

    checkCUDAError("Error when doing something");

    return 0;
}

[1] 在 CUDA 中，它区分主机内存和设备内存，其中主机内存是 GPU 可访问的内存，设备内存是 GPU 上的内存程序员必须将内存从主机移动到 GPU 并返回。

28

4

0

文章推荐： c++ - 程序的执行时间是 "5E-006"?

文章推荐： c++ - public static const 变量是否破坏了封装意识形态？

文章推荐： c++ - C++ 预处理器中的前缀增量

文章推荐： c++ - 迭代器比数组 [i] 快吗？

cuda - CUDA/CUDA Thrust 中的多态性和派生类
这是我关于 Stack Overflow 的第一个问题，这是一个很长的问题。 tl;dr 版本是:我如何使用 thrust::device_vector如果我希望它存储不同类型的对象 DerivedC
cuda - 在 cuda 内核运行时访问 cuda 设备内存
我已使用 cudaMalloc 在设备上分配内存并将其传递给内核函数。是否可以在内核完成执行之前从主机访问该内存？最佳答案我能想到的在内核仍在执行时启动 memcpy 的唯一方法是在与内核不同的流
cuda - 我可以在没有 cuda 设备的情况下编译 cuda 程序吗
是否可以在同一节点上没有支持 CUDA 的设备的情况下编译 CUDA 程序，仅使用 NVIDIA CUDA Toolkit...？最佳答案你的问题的答案是肯定的。 nvcc编译器驱动程序与设备的物
cuda - Cuda 上的引用参数
我不知道 cuda 不支持引用参数。我的程序中有这两个函数: __global__ void ExtractDisparityKernel ( ExtractDisparity& es)
cuda - CUDA 内核中主机浮点常量的使用
我正在使用 CUDA 5.0。我注意到编译器将允许我在内核中使用主机声明的 int 常量。但是，它拒绝编译任何使用主机声明的 float 常量的内核。有谁知道这种看似差异的原因？例如，下面的代码可以
cuda - CUDA 中的协作组
自从 CUDA 9 发布以来，显然可以将不同的线程和 block 分组到同一组中，以便您可以一起管理它们。这对我来说非常有用，因为我需要启动一个包含多个 block 的内核并等待所有 block 都同
cuda - CUDA 中的三线性插值
我需要在 CUDA 中执行三线性插值。这是问题定义: 给定三个点向量:x[nx]、y[ny]、z[nz] 和一个函数值矩阵func[nx][ny][nz]，我想在 x、y 范围之间的一些随机点处找到函
cuda - CUDA 是否具有向量操作内在函数？
我认为由于 CUDA 可以执行 64 位 128 位加载/存储，因此它可能具有一些用于加/减/等的内在函数。像 float3 这样的向量类型，在像 SSE 这样更少的指令中。 CUDA 有这样的功能吗
cuda - CUDA 共享内存中的并行扫描
我有一个问题，每个线程 block (一维)必须对共享内存内的一个数组进行扫描，并执行几个其他任务。 (该数组最多有 1024 个元素。) 有没有支持这种操作的好库？我检查了 Thrust 和 Cu
cuda - CUDA 线程如何工作
我对线程的形成和执行方式有很多疑惑。首先，文档将 GPU 线程描述为轻量级线程。假设我希望将两个 100*100 矩阵相乘。如果每个元素都由不同的线程计算，则这将需要 100*100 个线程。但是，
cuda - CUDA 共享内存大小意味着什么
我正在尝试自己解决这个问题，但我不能。所以我想听听你的建议。我正在编写这样的内核代码。 VGA 是 GTX 580。 xxxx >> (... threadNum ...) (note. Shar
cuda - 让 CUDA Thrust 使用您选择的 CUDA 流
查看 CUDA Thrust 代码中的内核启动，似乎它们总是使用默认流。我可以让 Thrust 使用我选择的流吗？我在 API 中遗漏了什么吗？最佳答案我想在 Thrust 1.8 发布后更新 t
cuda - CUDA 扭曲调度是确定性的吗？
我想知道 CUDA 应用程序的扭曲调度顺序是否是确定性的。具体来说，我想知道在同一设备上使用相同输入数据多次运行同一内核时，warp 执行的顺序是否会保持不变。如果没有，是否有任何东西可以强制对扭曲
cuda - CUDA 中有多少个网格
一个 GPU 中可以有多少个 CUDA 网格？两个网格可以同时存在于 GPU 中吗？还是一台 GPU 设备只有一个网格？ Kernel1>(dst1, param1); Kernel1>(dst2,
cuda - CUDA 应用程序的计算能力是否会自动升级？
如果我编译一个计算能力较低的 CUDA 程序，例如 1.3(nvcc 标志 sm_13)，并在具有 Compute Capability 2.1 的设备上运行它，它是否会利用 Compute 2.1
cuda - CUDA 固定内存是零拷贝吗？
固定内存应该可以提高从主机到设备的传输速率(api 引用)。但是我发现我不需要为内核调用 cuMemcpyHtoD 来访问这些值，也不需要为主机调用 cuMemcpyDtoA 来读取值。我不认为这会奏
cuda - CUDA 是否会自动为您进行负载平衡？
我希望对 CUDA C 中负载平衡的最佳实践有一些一般性的建议和说明，特别是: 如果经纱中的 1 个线程比其他 31 个线程花费的时间长，它会阻止其他 31 个线程完成吗？如果是这样，多余的处理能力
cuda - CUDA 中是否有内置的交叉和点积？
CUDA 中是否有像 opencl 一样的内置交叉和点积，所以 cuda 内核可以使用它？到目前为止，我在规范中找不到任何内容。最佳答案您可以在 SDK 的 cutil_math.h 中找到这些
cuda - CUDA 中的动态共享内存
有一些与我要问的问题类似的问题，但我觉得它们都没有触及我真正要寻找的核心。我现在拥有的是一种 CUDA 方法，它需要将两个数组定义到共享内存中。现在，数组的大小由在执行开始后读入程序的变量给出。因此，
cuda - CUDA 扭曲中的线程是否在多处理器上并行执行？
经线是 32 根线。 32 个线程是否在多处理器中并行执行？如果 32 个线程没有并行执行，则扭曲中没有竞争条件。在经历了一些例子后，我有了这个疑问。最佳答案在 CUDA 编程模型中，warp

首页

博学

6Ren·AI

商城

c++ - CUDA 扩展 std::vector 以管理主机和设备数据