c++ - 使用 gsl 库并行化线性代数

Question

在我的 C++ 脚本中，我有许多 for 循环来计算线性代数运算。我想知道使循环并行的最佳方法是什么？一个示例是以下函数，它计算两个矩阵的克罗内克积。

void Kronecker(const gsl_matrix *K, const gsl_matrix *V, gsl_matrix *H) 
{
    for (size_t i=0; i<K->size1; i++) {
        for (size_t j=0; j<K->size2; j++) {
            gsl_matrix_view H_sub=gsl_matrix_submatrix (H, i*V->size1, j*V->size2, V->size1, V->size2);
            gsl_matrix_memcpy (&H_sub.matrix, V);
            gsl_matrix_scale (&H_sub.matrix, gsl_matrix_get (K, i, j));
        }
    }
    return;
}

当我有可以并行的 for 循环 时，我怎样才能提高我的代码的计算时间？

Answer 1

在不知道底层 gsl 调用中的内存布局、分配、系统调用和潜在副作用的情况下，实现并行化的一种真正简单的方法是通过 OpenMP。这当然会引入依赖关系并需要编译器支持，但它对像您这样的简单循环特别有效。未经测试，可能需要更多以确保正确编写 H，但类似于:

#pragma omp parallel for private(i, j)
for (size_t i=0; i<K->size1; i++) {
    for (size_t j=0; j<K->size2; j++) {
        gsl_matrix_view H_sub=gsl_matrix_submatrix (H, i*V->size1, j*V->size2, V->size1, V->size2);
        gsl_matrix_memcpy (&H_sub.matrix, V);
        gsl_matrix_scale (&H_sub.matrix, gsl_matrix_get (K, i, j));
    }
}

参见 https://curc.readthedocs.io/en/latest/programming/OpenMP-C.html了解更多详情。

如果您不想引入依赖关系或有一些其他约束(例如，OpenMP 在库代码中可能有问题)，您始终可以通过在线程中使用内部 for 循环来自己完成，启动 N 个线程在开始和结束时加入。这当然是假设您有足够的工作量，如果矩阵足够大，您可能会这样做。