c - OpenMP 和 GSL RNG - 性能问题 - 4 线程实现比纯顺序线程(四核 CPU)慢 10 倍

Question

我正在尝试将我的一个 C 项目从顺序编程转变为并行编程。尽管现在大部分代码已经为此目的从头开始重新设计，但随机数的生成仍然是其核心。因此，随机数生成器 (RNG) 的不良性能会严重影响程序的整体性能。

我写了一些代码行(见下文)来展示我面临的问题，但并不冗长。

问题如下:每当线程数 nt 增加时，性能就会明显变差。在这个工作站上(linux 内核 2.6.33.4；gcc 4.4.4；intel 四核 CPU)并行 for 循环在 nt=4 时比在 nt=1 时花费大约 10 倍的时间，无论迭代次数 n 是多少。

这种情况好像是描述here但重点主要是 fortran，这是一种我知之甚少的语言，因此非常感谢您的帮助。

我尝试按照他们的想法创建不同的 RNG(具有不同的种子)以供每个线程访问，但性能仍然很差。实际上，每个线程的这种不同的播种点也让我感到烦恼，因为我看不出最终如何保证生成的数字的质量(缺乏相关性等)。

我已经考虑完全放弃 GSL 并自己实现一个随机生成器算法(例如 Mersenne-Twister)，但我怀疑我稍后会遇到同样的问题。

非常感谢您的回答和建议。请务必询问任何我可能忘记提及的重要事项。

编辑:实现了 lucas1024(pragma for 循环声明)和 JonathanDursi(播种；将“a”设置为私有(private)变量)建议的更正。在多线程模式下性能仍然很低。

编辑 2: 实现了 Jonathan Dursi 建议的解决方案(见评论)。

    #include <stdio.h>
    #include <stdlib.h>
    #include <time.h>
    #include <gsl/gsl_rng.h>
    #include <omp.h>

    double d_t (struct timespec t1, struct timespec t2){

        return (t2.tv_sec-t1.tv_sec)+(double)(t2.tv_nsec-t1.tv_nsec)/1000000000.0;
    }

    int main (int argc, char *argv[]){

        double a, b;

        int i,j,k;

        int n=atoi(argv[1]), seed=atoi(argv[2]), nt=atoi(argv[3]);

        printf("\nn\t= %d", n);
        printf("\nseed\t= %d", seed);
        printf("\nnt\t= %d", nt);

        struct timespec t1, t2, t3, t4;

        clock_gettime(CLOCK_PROCESS_CPUTIME_ID, &t1);

        //initialize gsl random number generator
        const gsl_rng_type *rng_t;
        gsl_rng **rng;
        gsl_rng_env_setup();
        rng_t = gsl_rng_default;

        rng = (gsl_rng **) malloc(nt * sizeof(gsl_rng *));

            #pragma omp parallel for num_threads(nt)
        for(i=0;i<nt;i++){
            rng[i] = gsl_rng_alloc (rng_t);
            gsl_rng_set(rng[i],seed*i);
        }

        clock_gettime(CLOCK_PROCESS_CPUTIME_ID, &t2);

        for (i=0;i<n;i++){
            a = gsl_rng_uniform(rng[0]);
        }

        clock_gettime(CLOCK_PROCESS_CPUTIME_ID, &t3);

        omp_set_num_threads(nt);
        #pragma omp parallel private(j,a)
        {
            j = omp_get_thread_num();
            #pragma omp for
            for(i=0;i<n;i++){
                a = gsl_rng_uniform(rng[j]);
            }
        }

        clock_gettime(CLOCK_PROCESS_CPUTIME_ID, &t4);

        printf("\n\ninitializing:\t\tt1 = %f seconds", d_t(t1,t2));
        printf("\nsequencial for loop:\tt2 = %f seconds", d_t(t2,t3));
        printf("\nparalel for loop:\tt3 = %f seconds (%f * t2)", d_t(t3,t4), (double)d_t(t3,t4)/(double)d_t(t2,t3));
        printf("\nnumber of threads:\tnt = %d\n", nt);

        //free random number generator
        for (i=0;i<nt;i++)
            gsl_rng_free(rng[i]);
        free(rng);

        return 0;

    }

Answer 1

问题出在第二行#pragma omp。第一个#pragma omp 生成 4 个线程。之后你应该简单地说#pragma omp for - 而不是#pragma omp parallel for。

使用当前代码，根据您的 omp 嵌套设置，您正在创建 4 x 4 线程，它们执行相同的工作并访问相同的数据。