C++ OpenMP 任务 - 通过引用传递问题

Question

我目前在一个系统上工作，我在其中读取超过 2 亿条记录(行)的文件，因此我正在缓冲记录并使用 OpenMP 任务来管理每个批处理，同时继续处理输入。缓冲区中的每条记录在 work_on_data 中处理大约需要 60μ，并将生成一个字符串结果。为了避免关键区域，我为结果创建了一个 vector ，并通过地址将记录占位符(我插入该 vector )传递给 work_on_data 函数:

int i = 0;
string buffer[MAX_SIZE];
vector<string> task_results;

#pragma omp parallel shared(map_a, task_results), num_threads(X) 
#pragma omp single
{
    while (getline(fin, line) && !fin.eof())
    {
        buffer[i] = line;
        if (++i == MAX_SIZE)
        {
            string result = "";
            task_results.push_back(result);
#pragma omp task firstprivate(buffer)
            work_on_data(buffer, map_a, result);
            i = 0;
        }
    }
}

// eventually merge records in task_results

在 work_on_data 结束时，传入的每个 result 都不会是空字符串(如已初始化)。 但是，当合并结果时，每个结果仍然是一个空字符串。我可能在这里做了一些关于范围/寻址的愚蠢的事情，但我不明白问题是什么。有什么想法吗？

提前致谢。

Answer 1

将某物插入 vector 会导致在 vector 内构建它的拷贝。因此，您的 work_on_data 函数没有获得对 vector 内字符串的引用，而是对 if block 内字符串的引用。要解决此问题，您可以重写代码以使其能够访问 push_back 之后的最后一个元素，如下所示:

if (++i == MAX_SIZE)
{
    task_results.push_back("");
#pragma omp task firstprivate(buffer)
    work_on_data(buffer, map_a, task_results.back());
    i = 0;
}

编辑:

我忘记了 vector 重新分配时的迭代器失效，另外调用 back() 会导致竞争条件。使用(智能)指针(正如评论所建议的那样)和一个专用计数器，这对我来说没有段错误:

vector<shared_ptr<string>> task_results;

int ctr = 0
...
if (++i == MAX_SIZE) {
    task_results.push_back(make_shared<string>());
#pragma omp task firstprivate(buffer, ctr) 
    work_on_data(buffer, map_a, *task_results.back[ctr]);
    i = 0;
    ++ctr;

}

我认为 back() 版本会出现段错误，因为该函数同时被许多不同的线程调用，如果主线程设法在两者之间的某个地方 push_back同样，线程将处理相同的数据。