cuda - CUBLAS:零主元矩阵的不正确反演-6ren

cuda - CUBLAS:零主元矩阵的不正确反演

转载作者：行者123 更新时间：2023-12-01 04:37:06

从 CUDA 5.5 开始，CUBLAS 库包含用于批量矩阵分解和求逆的例程(分别为 cublas<t>getrfBatched 和 cublas<t>getriBatched )。

从文档中获取指南，我编写了一个使用这些例程反转 N x N 矩阵的测试代码。仅当矩阵具有所有非零主元时，代码才会给出正确的输出。将任何枢轴设置为零会导致不正确的结果。我已经使用 MATLAB 验证了结果。

我意识到我提供行主矩阵作为输入，而 CUBLAS 需要列主矩阵，但这应该无关紧要，因为它只会转置结果。可以肯定的是，我还对列主要输入进行了测试，但得到了相同的行为。

我很困惑，cublas<t>getriBatched期望枢轴交换信息数组 P作为输入，这是来自 cublas<t>getrfBatched 的输出.因此，如果行交换消除了任何零枢轴，则反转例程应自动处理它。

如何使用 CUBLAS 执行包含零主元的矩阵求逆？

以下是具有不同测试用例的自包含可编译示例:

#include <cstdio>
#include <cstdlib>
#include <cuda_runtime.h>
#include <cublas_v2.h>

#define cudacall(call)                                                                                                          \
    do                                                                                                                          \
    {                                                                                                                           \
        cudaError_t err = (call);                                                                                               \
        if(cudaSuccess != err)                                                                                                  \
        {                                                                                                                       \
            fprintf(stderr,"CUDA Error:\nFile = %s\nLine = %d\nReason = %s\n", __FILE__, __LINE__, cudaGetErrorString(err));    \
            cudaDeviceReset();                                                                                                  \
            exit(EXIT_FAILURE);                                                                                                 \
        }                                                                                                                       \
    }                                                                                                                           \
    while (0)

#define cublascall(call)                                                                                        \
    do                                                                                                          \
    {                                                                                                           \
        cublasStatus_t status = (call);                                                                         \
        if(CUBLAS_STATUS_SUCCESS != status)                                                                     \
        {                                                                                                       \
            fprintf(stderr,"CUBLAS Error:\nFile = %s\nLine = %d\nCode = %d\n", __FILE__, __LINE__, status);     \
            cudaDeviceReset();                                                                                  \
            exit(EXIT_FAILURE);                                                                                 \
        }                                                                                                       \
                                                                                                                \
    }                                                                                                           \
    while(0)


void invert_device(float* src_d, float* dst_d, int n)
{
    cublasHandle_t handle;
    cublascall(cublasCreate_v2(&handle));

    int batchSize = 1;

    int *P, *INFO;

    cudacall(cudaMalloc<int>(&P,n * batchSize * sizeof(int)));
    cudacall(cudaMalloc<int>(&INFO,batchSize * sizeof(int)));

    int lda = n;

    float *A[] = { src_d };
    float** A_d;
    cudacall(cudaMalloc<float*>(&A_d,sizeof(A)));
    cudacall(cudaMemcpy(A_d,A,sizeof(A),cudaMemcpyHostToDevice));

    cublascall(cublasSgetrfBatched(handle,n,A_d,lda,P,INFO,batchSize));

    int INFOh = 0;
    cudacall(cudaMemcpy(&INFOh,INFO,sizeof(int),cudaMemcpyDeviceToHost));

    if(INFOh == n)
    {
        fprintf(stderr, "Factorization Failed: Matrix is singular\n");
        cudaDeviceReset();
        exit(EXIT_FAILURE);
    }

    float* C[] = { dst_d };
    float** C_d;
    cudacall(cudaMalloc<float*>(&C_d,sizeof(C)));
    cudacall(cudaMemcpy(C_d,C,sizeof(C),cudaMemcpyHostToDevice));

    cublascall(cublasSgetriBatched(handle,n,A_d,lda,P,C_d,lda,INFO,batchSize));

    cudacall(cudaMemcpy(&INFOh,INFO,sizeof(int),cudaMemcpyDeviceToHost));

    if(INFOh != 0)
    {
        fprintf(stderr, "Inversion Failed: Matrix is singular\n");
        cudaDeviceReset();
        exit(EXIT_FAILURE);
    }

    cudaFree(P), cudaFree(INFO), cublasDestroy_v2(handle);
}

void invert(float* src, float* dst, int n)
{
    float* src_d, *dst_d;

    cudacall(cudaMalloc<float>(&src_d,n * n * sizeof(float)));
    cudacall(cudaMemcpy(src_d,src,n * n * sizeof(float),cudaMemcpyHostToDevice));
    cudacall(cudaMalloc<float>(&dst_d,n * n * sizeof(float)));

    invert_device(src_d,dst_d,n);

    cudacall(cudaMemcpy(dst,dst_d,n * n * sizeof(float),cudaMemcpyDeviceToHost));

    cudaFree(src_d), cudaFree(dst_d);
}

void test_invert()
{
    const int n = 3;

    //Random matrix with full pivots
    float full_pivots[n*n] = { 0.5, 3, 4, 
                                1, 3, 10, 
                                4 , 9, 16 };

    //Almost same as above matrix with first pivot zero
    float zero_pivot[n*n] = { 0, 3, 4, 
                              1, 3, 10,
                              4 , 9, 16 };

    float zero_pivot_col_major[n*n] = { 0, 1, 4, 
                                        3, 3, 9,
                                        4 , 10, 16 };

    float another_zero_pivot[n*n] = { 0, 3, 4, 
                                      1, 5, 6,
                                      9, 8, 2 };

    float another_full_pivot[n * n] = { 22, 3, 4, 
                                        1, 5, 6,
                                        9, 8, 2 };

    float singular[n*n] = {1,2,3,
                           4,5,6,
                           7,8,9};


    //Select matrix by setting "a"
    float* a = zero_pivot;  

    fprintf(stdout, "Input:\n\n");
    for(int i=0; i<n; i++)
    {
        for(int j=0; j<n; j++)
            fprintf(stdout,"%f\t",a[i*n+j]);
        fprintf(stdout,"\n");
    }

    fprintf(stdout,"\n\n");

    invert(a,a,n);

    fprintf(stdout, "Inverse:\n\n");
    for(int i=0; i<n; i++)
    {
        for(int j=0; j<n; j++)
            fprintf(stdout,"%f\t",a[i*n+j]);
        fprintf(stdout,"\n");
    }

}

int main()
{
    test_invert();

    int n;  scanf("%d",&n);
    return 0;
}

最佳答案

cublas<t>getrfBatched 的当前 CUBLAS 库实现中似乎存在错误对于维度矩阵 ( n ) 使得 3<=n<=16 ，当你说有一个“零支点”时。

一种可能的解决方法是“身份扩展”您的 A当 n<17 时，要反转的矩阵大小为 17x17(使用 matlab 命名法):

 LU = getrf( [A 0 ; 0 I]);

继续，然后您可以使用 cublas<t>getriBatched以“普通”方式:

 invA = getri( LU(1:3,1:3) )

(您也可以将所有内容保留在 n=17，以这种方式调用 getri，然后将结果提取为 invA 的前 3x3 行和列。)

这是一个完整的示例，借鉴了您提供的代码，显示了您提供的 3x3 zero_pivot 的反转。矩阵，使用 zero_pivot_war矩阵作为“身份扩展”的解决方法:

$ cat t340.cu
#include <cstdio>
#include <cstdlib>
#include <cuda_runtime.h>
#include <cublas_v2.h>

#define cudacall(call)                                                                                                          \
    do                                                                                                                          \
    {                                                                                                                           \
        cudaError_t err = (call);                                                                                               \
        if(cudaSuccess != err)                                                                                                  \
        {                                                                                                                       \
            fprintf(stderr,"CUDA Error:\nFile = %s\nLine = %d\nReason = %s\n", __FILE__, __LINE__, cudaGetErrorString(err));    \
            cudaDeviceReset();                                                                                                  \
            exit(EXIT_FAILURE);                                                                                                 \
        }                                                                                                                       \
    }                                                                                                                           \
    while (0)

#define cublascall(call)                                                                                        \
    do                                                                                                          \
    {                                                                                                           \
        cublasStatus_t status = (call);                                                                         \
        if(CUBLAS_STATUS_SUCCESS != status)                                                                     \
        {                                                                                                       \
            fprintf(stderr,"CUBLAS Error:\nFile = %s\nLine = %d\nCode = %d\n", __FILE__, __LINE__, status);     \
            cudaDeviceReset();                                                                                  \
            exit(EXIT_FAILURE);                                                                                 \
        }                                                                                                       \
                                                                                                                \
    }                                                                                                           \
    while(0)


void invert_device(float* src_d, float* dst_d, int n)
{
    cublasHandle_t handle;
    cublascall(cublasCreate_v2(&handle));

    int batchSize = 1;

    int *P, *INFO;

    cudacall(cudaMalloc<int>(&P,17 * batchSize * sizeof(int)));
    cudacall(cudaMalloc<int>(&INFO,batchSize * sizeof(int)));

    int lda = 17;

    float *A[] = { src_d };
    float** A_d;
    cudacall(cudaMalloc<float*>(&A_d,sizeof(A)));
    cudacall(cudaMemcpy(A_d,A,sizeof(A),cudaMemcpyHostToDevice));

    cublascall(cublasSgetrfBatched(handle,17,A_d,lda,P,INFO,batchSize));

    int INFOh = 0;
    cudacall(cudaMemcpy(&INFOh,INFO,sizeof(int),cudaMemcpyDeviceToHost));

    if(INFOh == 17)
    {
        fprintf(stderr, "Factorization Failed: Matrix is singular\n");
        cudaDeviceReset();
        exit(EXIT_FAILURE);
    }

    float* C[] = { dst_d };
    float** C_d;
    cudacall(cudaMalloc<float*>(&C_d,sizeof(C)));
    cudacall(cudaMemcpy(C_d,C,sizeof(C),cudaMemcpyHostToDevice));

    cublascall(cublasSgetriBatched(handle,n,A_d,lda,P,C_d,n,INFO,batchSize));

    cudacall(cudaMemcpy(&INFOh,INFO,sizeof(int),cudaMemcpyDeviceToHost));

    if(INFOh != 0)
    {
        fprintf(stderr, "Inversion Failed: Matrix is singular\n");
        cudaDeviceReset();
        exit(EXIT_FAILURE);
    }

    cudaFree(P), cudaFree(INFO), cublasDestroy_v2(handle);
}

void invert(float* src, float* dst, int n)
{
    float* src_d, *dst_d;

    cudacall(cudaMalloc<float>(&src_d,17 * 17 * sizeof(float)));
    cudacall(cudaMemcpy(src_d,src,17 * 17 * sizeof(float),cudaMemcpyHostToDevice));
    cudacall(cudaMalloc<float>(&dst_d,n * n * sizeof(float)));

    invert_device(src_d,dst_d,n);

    cudacall(cudaMemcpy(dst,dst_d,n * n * sizeof(float),cudaMemcpyDeviceToHost));

    cudaFree(src_d), cudaFree(dst_d);
}

void test_invert()
{
    const int n = 3;

    //Random matrix with full pivots
/*    float full_pivots[n*n] = { 0.5, 3, 4,
                                1, 3, 10,
                                4 , 9, 16 };

    //Almost same as above matrix with first pivot zero
    float zero_pivot[n*n] = { 0, 3, 4,
                              1, 3, 10,
                              4 , 9, 16 };

    float zero_pivot_col_major[n*n] = { 0, 1, 4,
                                        3, 3, 9,
                                        4 , 10, 16 };
*/
    float zero_pivot_war[17*17] = {
                                        0,3,4,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
                                        1,3,10,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
                                        4,9,16,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
                                        0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,
                                        0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,
                                        0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,
                                        0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,
                                        0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,
                                        0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,
                                        0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,
                                        0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,
                                        0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,
                                        0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,
                                        0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,
                                        0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,
                                        0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,
                                        0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1 };
/*
    float another_zero_pivot[n*n] = { 0, 3, 4,
                                      1, 5, 6,
                                      9, 8, 2 };

    float another_full_pivot[n * n] = { 22, 3, 4,
                                        1, 5, 6,
                                        9, 8, 2 };

    float singular[n*n] = {1,2,3,
                           4,5,6,
                           7,8,9};
*/
    float result[n*n];

    //Select matrix by setting "a"
    float* a = zero_pivot_war;

    fprintf(stdout, "Input:\n\n");
    for(int i=0; i<n; i++)
    {
        for(int j=0; j<n; j++)
            fprintf(stdout,"%f\t",a[i*17+j]);
        fprintf(stdout,"\n");
    }

    fprintf(stdout,"\n\n");

    invert(a,result,n);

    fprintf(stdout, "Inverse:\n\n");
    for(int i=0; i<n; i++)
    {
        for(int j=0; j<n; j++)
            fprintf(stdout,"%f\t",result[i*n+j]);
        fprintf(stdout,"\n");
    }

}

int main()
{
    test_invert();

//    int n;  scanf("%d",&n);
    return 0;
}
$ nvcc -arch=sm_20 -o t340 t340.cu -lcublas
$ cuda-memcheck ./t340
========= CUDA-MEMCHECK
Input:

0.000000        3.000000        4.000000
1.000000        3.000000        10.000000
4.000000        9.000000        16.000000


Inverse:

-0.700000       -0.200000       0.300000
0.400000        -0.266667       0.066667
-0.050000       0.200000        -0.050000
========= ERROR SUMMARY: 0 errors
$

以上结果在我看来是正确的，基于一个简单的测试 elsewhere .

我没有关于 CUBLAS 中可能存在的错误的性质的任何进一步的技术细节。据我所知，它存在于 CUDA 5.5 和 CUDA 6.0 RC 中。有关 NVIDIA 提供的 Assets (例如 CUBLAS 库)的详细错误讨论应在 the NVIDIA developer forums 上进行。或直接在 developer.nvidia.com 上的错误归档门户(您必须是注册开发人员才能提交错误)。

关于cuda - CUBLAS:零主元矩阵的不正确反演，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/22887167/

文章推荐： neo4j - 从 Neo4J 中的 MATCH 查询中排除一些返回结果

文章推荐： jquery - 无法触发绑定(bind)事件

文章推荐： java - nexus 中的两个不同存储库包含相同的 jar

文章推荐： jquery 表单验证允许提交表单，即使有错误

cuda - CUDA/CUDA Thrust 中的多态性和派生类
这是我关于 Stack Overflow 的第一个问题，这是一个很长的问题。 tl;dr 版本是:我如何使用 thrust::device_vector如果我希望它存储不同类型的对象 DerivedC
cuda - 在 cuda 内核运行时访问 cuda 设备内存
我已使用 cudaMalloc 在设备上分配内存并将其传递给内核函数。是否可以在内核完成执行之前从主机访问该内存？最佳答案我能想到的在内核仍在执行时启动 memcpy 的唯一方法是在与内核不同的流
cuda - 我可以在没有 cuda 设备的情况下编译 cuda 程序吗
是否可以在同一节点上没有支持 CUDA 的设备的情况下编译 CUDA 程序，仅使用 NVIDIA CUDA Toolkit...？最佳答案你的问题的答案是肯定的。 nvcc编译器驱动程序与设备的物
cuda - Cuda 上的引用参数
我不知道 cuda 不支持引用参数。我的程序中有这两个函数: __global__ void ExtractDisparityKernel ( ExtractDisparity& es)
cuda - CUDA 内核中主机浮点常量的使用
我正在使用 CUDA 5.0。我注意到编译器将允许我在内核中使用主机声明的 int 常量。但是，它拒绝编译任何使用主机声明的 float 常量的内核。有谁知道这种看似差异的原因？例如，下面的代码可以
cuda - CUDA 中的协作组
自从 CUDA 9 发布以来，显然可以将不同的线程和 block 分组到同一组中，以便您可以一起管理它们。这对我来说非常有用，因为我需要启动一个包含多个 block 的内核并等待所有 block 都同
cuda - CUDA 中的三线性插值
我需要在 CUDA 中执行三线性插值。这是问题定义: 给定三个点向量:x[nx]、y[ny]、z[nz] 和一个函数值矩阵func[nx][ny][nz]，我想在 x、y 范围之间的一些随机点处找到函
cuda - CUDA 是否具有向量操作内在函数？
我认为由于 CUDA 可以执行 64 位 128 位加载/存储，因此它可能具有一些用于加/减/等的内在函数。像 float3 这样的向量类型，在像 SSE 这样更少的指令中。 CUDA 有这样的功能吗
cuda - CUDA 共享内存中的并行扫描
我有一个问题，每个线程 block (一维)必须对共享内存内的一个数组进行扫描，并执行几个其他任务。 (该数组最多有 1024 个元素。) 有没有支持这种操作的好库？我检查了 Thrust 和 Cu
cuda - CUDA 线程如何工作
我对线程的形成和执行方式有很多疑惑。首先，文档将 GPU 线程描述为轻量级线程。假设我希望将两个 100*100 矩阵相乘。如果每个元素都由不同的线程计算，则这将需要 100*100 个线程。但是，
cuda - CUDA 共享内存大小意味着什么
我正在尝试自己解决这个问题，但我不能。所以我想听听你的建议。我正在编写这样的内核代码。 VGA 是 GTX 580。 xxxx >> (... threadNum ...) (note. Shar
cuda - 让 CUDA Thrust 使用您选择的 CUDA 流
查看 CUDA Thrust 代码中的内核启动，似乎它们总是使用默认流。我可以让 Thrust 使用我选择的流吗？我在 API 中遗漏了什么吗？最佳答案我想在 Thrust 1.8 发布后更新 t
cuda - CUDA 扭曲调度是确定性的吗？
我想知道 CUDA 应用程序的扭曲调度顺序是否是确定性的。具体来说，我想知道在同一设备上使用相同输入数据多次运行同一内核时，warp 执行的顺序是否会保持不变。如果没有，是否有任何东西可以强制对扭曲
cuda - CUDA 中有多少个网格
一个 GPU 中可以有多少个 CUDA 网格？两个网格可以同时存在于 GPU 中吗？还是一台 GPU 设备只有一个网格？ Kernel1>(dst1, param1); Kernel1>(dst2,
cuda - CUDA 应用程序的计算能力是否会自动升级？
如果我编译一个计算能力较低的 CUDA 程序，例如 1.3(nvcc 标志 sm_13)，并在具有 Compute Capability 2.1 的设备上运行它，它是否会利用 Compute 2.1
cuda - CUDA 固定内存是零拷贝吗？
固定内存应该可以提高从主机到设备的传输速率(api 引用)。但是我发现我不需要为内核调用 cuMemcpyHtoD 来访问这些值，也不需要为主机调用 cuMemcpyDtoA 来读取值。我不认为这会奏
cuda - CUDA 是否会自动为您进行负载平衡？
我希望对 CUDA C 中负载平衡的最佳实践有一些一般性的建议和说明，特别是: 如果经纱中的 1 个线程比其他 31 个线程花费的时间长，它会阻止其他 31 个线程完成吗？如果是这样，多余的处理能力
cuda - CUDA 中是否有内置的交叉和点积？
CUDA 中是否有像 opencl 一样的内置交叉和点积，所以 cuda 内核可以使用它？到目前为止，我在规范中找不到任何内容。最佳答案您可以在 SDK 的 cutil_math.h 中找到这些
cuda - CUDA 中的动态共享内存
有一些与我要问的问题类似的问题，但我觉得它们都没有触及我真正要寻找的核心。我现在拥有的是一种 CUDA 方法，它需要将两个数组定义到共享内存中。现在，数组的大小由在执行开始后读入程序的变量给出。因此，
cuda - CUDA 扭曲中的线程是否在多处理器上并行执行？
经线是 32 根线。 32 个线程是否在多处理器中并行执行？如果 32 个线程没有并行执行，则扭曲中没有竞争条件。在经历了一些例子后，我有了这个疑问。最佳答案在 CUDA 编程模型中，warp

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

cuda - CUBLAS:零主元矩阵的不正确反演