cuda - 来自不同内核的线程如何访问相同的全局内存地址？

Question

如果一个warp中的许多线程想要读取全局内存中的一个地址，这个数据就会被广播，对吗？

如果一个warp中的许多线程想要写入全局内存中的一个地址，有一个序列化，但无法预测顺序，对吗？

但是，第一个问题:如果许多线程在不同的束中，在不同的块中，想要写入全局内存中的一个地址？ GPU会做什么？序列化对这个地址的所有访问？有没有数据一致性的保证？

使用 Hyper-Q 可以启动大量包含内核的流。如果我在内存中有一个位置，并且不同内核中的多个线程想要写入或读取该地址，GPU 会做什么？序列化来自不同内核的所有线程的访问，还是 GPU 什么都不做而会发生一些不一致的情况？当多个内核读/写同一个地址时，是否有数据一致性的保证？

Answer 1

最好每个问题都问一个问题。

If many threads in a warp want to read an adress in global memory, this data is broadcasted, is that right?

是的，这适用于 Fermi (CC2.0) 及更高版本。

If many threads in a warp want to write into an adress in global memory, there is a serialization, but is not possible to predict the order, is that right?

正确的。订单未定义。

If many threads in a different warps, in different blocks, want to write into an adress in global memory? What the GPU gonna do? Serializes all the access to this address?

如果访问是同时的，则它们被序列化。同样，顺序是未定义的。

Is there any guarantee of data consistence?

不确定您所说的数据一致性是什么意思。无论如何，除了序列化同时写入之外，GPU 还能做什么？我很惊讶这是一个如此困难的概念，因为在我看来没有明显的替代方案。

If I have a possition in the memory, and a number of threads in different kernels wants to write or read this address, what the GPU gonna do? Serializes the access of all threads from different kernels, or the GPU do nothing and some inconsistences gonna happen? Is there any guarantee of data consistence when multiple kernels are reading/writing into the same address?

对全局内存的同时写入的来源是什么并不重要，无论是来自同一个扭曲还是不同的扭曲，在不同的块中，在不同的内核中。同时写入以未定义的顺序进行序列化。同样，对于“数据一致性”，我想知道您的意思。同时读取和写入也会产生未定义的行为。读取可能会返回一个值，包括内存位置的初始值或任何写入的值。

同时写入任何 GPU 内存位置的最终结果是不确定的。如果所有同时写入都写入相同的值，则该位置的最终值将反射(reflect)该值。否则，最终值将反射(reflect)写入的值之一。哪个值未定义。除此之外，你的大多数问题和陈述对我来说都没有意义。 (你说的数据一致性是什么意思？)你不应该期望从这种编程行为中得到任何合理的东西。 GPU 应该被编程为分布式独立工作机器，而不是全局同步机器。请注意，“未定义”还意味着即使输入数据相同，结果也可能因内核的一次运行而异。

同时或几乎同时读取和写入来自不同块(无论是来自相同还是不同内核)的全局内存在 Fermi (cc2.x) 设备上尤其危险，因为在 SM 之间插入了独立的非相干 L1 缓存(其中线程块执行)和 L2 缓存(这是设备范围的，因此是一致的)。尝试使用全局内存作为工具在线程块之间创建同步行为充其量是困难的，并且不鼓励。建议考虑重铸算法以独立构建工作的方法。