c++ - 为 tile 中的线程将数据复制到 tile_static

Question

我正在尝试将数据复制到 tile_static 以用于长时间运行的进程。在我看到的所有示例中，都声明了一个数组，并为图 block 中的每个线程逐个填充数据。这些线程然后共享该数据。我想要做的只是用 tile_static 复制一些数据以供单个线程使用。我不需要分享它，但由于它对于长时间运行的线程来说很重要，我的理解是它会提高性能。我不确定这是否是正确的方法。我尝试进行的 tile_static 调用位于 parallel_for_each 循环的底部附近，如下所示:

tile_static vector<int_2> route = av_RouteSet[t_idx.global[0]];

为了清楚起见，我包含了额外的代码。

vector<float> tiledTSPCompute(accelerator_view accl, city_set CityLocations, int NumberOfTiles,
float StartTemp, float EndTemp, float CoolingCoefficient, unsigned int MovesPerTemp){
    // Setting tile size
    static const int TS = 16;
    // Setting number of runs in terms of number of tiles
    int NumberOfRuns = NumberOfTiles * TS * TS;
    // Get results vector ready
    vector<float> Results(NumberOfRuns);
    array_view<float> av_Results(Results);
    // Get routes ready
    vector<int_2> RouteSet(sizeof(CityLocations.Cities) * NumberOfRuns);
    array_view<int_2, 2> av_RouteSet(NumberOfRuns, sizeof(CityLocations.Cities), RouteSet);
    // Prepare extent
    concurrency::extent<1> e(NumberOfRuns);
    // Create RNG
    tinymt_collection<1> mtSet(e, 500);

    concurrency::parallel_for_each(accl, av_Results.extent.tile<TS, TS>(), [=](tiled_index<TS, TS> t_idx)restrict(amp){
        auto& mt = mtSet[t_idx.global];
        //What I would like to do
        tile_static vector<int_2> route = av_RouteSet[t_idx.global[0]];

        Tiled_InitializeRoute(route);
        Tiled_RandomizeRoute(route, mt);
        Tiled_HeuristicRun(StartTemp, EndTemp, CoolingCoefficient, CityLocations, route, MovesPerTemp, mt);
        av_Results[t_idx.global] = Tiled_TotalRouteDistance(route, CityLocations);
    });
};

Answer 1

Tiled内存，顾名思义，就是每个tile可用的内存。它的主要用途是在 tile 中的线程之间共享内存。这就是为什么你看到了共同的模式。一组线程加载 tile 静态内存(并行)，对该内存执行读取和写入，通常带有防止竞争条件的障碍，最后将结果保存到全局内存。 tile 本地内存比从全局内存读取更有效。

但是，在您的示例中，您没有利用磁贴内存的这些属性。您最好使用本地内存来存储此数据，因为您不会在线程之间共享它。 mtSet 数组也是如此。您应该在内核本地声明这些数组并在那里初始化它们。如果它们中的任何一个是常量，那么您应该将其声明为允许它们使用常量内存，而不是本地内存。

根据此数据的大小，您可能会遇到占用问题。本地内存量非常有限，通常为 10 KB。如果每个线程使用太多，则 GPU 无法安排更多的 warp，这会限制其通过在现有 warp 被阻塞时安排额外的 warp 来隐藏延迟的能力。如果这似乎是个问题，您可能需要考虑在每个线程上重新划分您的工作。

我的 C++ AMP book 中有关优化和性能的章节涵盖了大部分内容.下面还包含一个很好的概述 different types of GPU memory ，虽然是用 CUDA 而不是 AMP 编写的。