c - 多线程快速排序堆栈溢出

Question

我终于完成了一个自行开发的快速排序版本，用于通过字符字符串成员对结构数组进行排序。我不使用 stdlib qsort 的原因是它在超快的机器上需要 5 分钟以上。

我有 12 个物理核心和 24 个逻辑核心(双 Xeon 5690)和 192 GB(是的，GB，不是 MB)RAM，所以我想我可以通过编写多线程版本的快速排序来使用它。但我遇到了堆栈溢出异常，大概是因为每次递归时在堆栈上创建的 struct s_stream 所致。我有超过 2,400,000 个字符串需要排序，所以我只能想象递归必须有多深(如果深度是正确的术语)。

我真的无法让结构变得更小。我应该放弃这个并寻找另一种排序算法吗？如果有，是哪一个？

struct s_stream {

    char name[100];
    int avg;
    int current;
    int currentY;
    int marrayIndex;

    int xy[2500];
    int zz[2500];

}

    void quickSort(struct s_stream items[], int left, int right)
    {
      int i, j;
      struct s_stream temp;

      i = left;
      j = right;
      temp = items[(left+right)/2];

      do {
            while((strcmp(items[i].name, temp.name) < 0) && (i < right)) { i++; }
            while((strcmp(items[j].name, temp.name) > 0) && (j > left)) {  j--; }
        if(i <= j)
        {
            temp = items[i];
            items[i] = items[j];
            items[j] = temp;

            i++;
            j--;
        }
  } while(i <= j);


    #pragma omp parallel sections
    {
        #pragma omp section
        if(left < j) { quickSort(items, left, j);}

        #pragma omp section
        if(i < right) { quickSort(items, i, right); }
     }
}

Answer 1

这种大规模并行性并不是很有好处。调度的额外开销开始超过更多线程的好处。将线程数量增加到超过物理核心数量几乎没有什么好处。

正如 Basile 提到的，您可能会考虑在数组的每 12 个数组上并行使用 stdlib 的 qsort，然后将 block 合并排序在一起。

可能会影响性能的因素是结构体的大小。 20K 足够大，足以破坏引用的局部性，而在高速缓存非常重要的现代处理器上，这对性能来说是致命的。将 xy 和 zz 更改为动态分配可能会带来巨大的性能提升，就像对指针数组进行排序一样。