c++ - gcc-via-nvcc 是否对这些总和和最大缩减进行矢量化？

Question

我有一个 CUDA 应用程序，目前使用推力库在 GPU 上对 vector 进行总和和最大缩减。我发现对于某些 vector 长度，如果我将 vector 发送回主机并在 C++ 中计算总和和最大减少量，速度会快得多。

总和和最大缩减应该在主机上是可向量化的。主机上的内存是线性/连续的，我使用的编译器 (GCC) 支持它。鉴于我看到的时间，编译器似乎正在对代码进行矢量化，但我如何确认这一点？我在强制编译器优化方面没有任何经验，但我知道可以使用一些 pragma 语句。 (尽管通过谷歌搜索你会发现很少的信息。)另外，我宁愿不去挖掘汇编来确认，因为我不会理解它。是否有编译器设置(在 GCC 或 NVCC 中)我可以用来强制在主机上进行矢量化或确认代码正在被矢量化？

我为 sum 和 max reductions 编写的函数如下。 nvcc 编译器最终会对此进行编译，因为这些函数包含 CUDA 代码。

void calc_vector_max_host(double& maxval, double *const vec_h, const double *const vec_d, int len)
{
    //copy device vector to host
    gpuErrchk(cudaMemcpy(vec_h, vec_d, len*sizeof(double), cudaMemcpyDeviceToHost));

    //vectorized? max
    maxval = *vec_h;
    double* temp = vec_h;
    for(int i = 1; i < len; i++, temp++)
    {
        if(*temp > maxval)
        {
            maxval = *temp;
        }
    }
}

void calc_vector_sum_host(double& sum, double *const vec_h, const double *const vec_d, int len)
{
    //copy device vector to host
    gpuErrchk(cudaMemcpy(vec_h, vec_d, len*sizeof(double), cudaMemcpyDeviceToHost));

    //vectorized? sum
    sum = 0.0;
    double* temp = vec_h;
    for(int i = 0; i < len; i++, temp++)
    {
        sum += *temp;
    }
}

编辑:以下包含 gcc 自动矢量化所需的更正。还需要注释中列出的编译器选项。

void calc_vector_max_host(double& maxval, double *const __restrict__ vec_h, const double *const __restrict__ vec_d, int len)
{
    //copy device vector to host
    gpuErrchk(cudaMemcpy(vec_h, vec_d, len*sizeof(double), cudaMemcpyDeviceToHost));

    //vectorized? max
    double local_maxval = vec_h[0];
    for(int i = 1; i < len; i++)
    {
        double val = vec_h[i];
        if(val > local_maxval)
        {
            local_maxval = val;
        }
    }
    maxval = local_maxval;
}

void calc_vector_sum_host(double& sum, double *const __restrict__ vec_h, const double *const vec_d, int len)
{
    //copy device vector to host
    gpuErrchk(cudaMemcpy(vec_h, vec_d, len*sizeof(double), cudaMemcpyDeviceToHost));

    //vectorized? sum
    double local_sum = 0.0;
    for(int i = 0; i < len; i++)
    {
        local_sum += vec_h[i];
    }
    sum = local_sum;
}

Answer 1

首先，也是最重要的一点是 nvcc 不是编译器。它是一个编译器驱动程序——它只是使用主机编译器结合一些自定义预处理工具来引导编译，这些工具会分解实际的 GPU 代码并将其传递给 GPU 工具链。 GPU 编译器和汇编器只涉及典型程序的一小部分。构建的其余部分直接使用主机编译器和链接器完成。

因此，您发布的所有代码都是由 gcc 编译的(并且可以在不使用 nvcc 的情况下直接编译)。 nvcc 有一个选项 -Xcompiler 可用于将您想要的任何选项传递给主机编译轨迹。对于矢量化，您可以传递描述的任何选项 here你的 gcc 版本支持。如果您愿意的话，您也可以直接使用 SSE 风格的内部函数来简化编译器的工作

要查看您的主机代码中是否已经进行矢量化，只需使用 objdump/otool 之类的东西(取决于您使用的是 Linux 还是 OS X，您没有说)。您将能够查看编译器发出的代码的反汇编，矢量化指令的存在将立即回答您的问题。

最后，nvcc的还不错，一文不值documentation这些天来，您可以通过熟悉它来找到这个问题的答案，也可能找到您曾经遇到过的关于 nvcc 的所有其他问题的答案。