c - 缓存写入是否需要更长时间才能使更多缓存失效？

Question

你能帮我看看当有更多的核心/缓存持有该行的副本时，缓存写入是否需要更长的时间才能完成。我还想测量/量化实际需要多长时间。

我在谷歌上找不到任何有用的东西，而且我自己测量它也很难解释我测量的东西，因为现代处理器上可能发生很多事情。(重新排序、预取、缓冲和天知道是什么)

详细信息:

我衡量它的基本过程大致如下:

write soemthing to the cacheline on processor 0
read it on processors 1 to n.

rdtsc
write it on process 0
rdtsc

我什至不确定在进程 0 上实际使用哪些指令进行读/写以确保写/无效在最终时间测量之前完成。

此刻我摆弄了一个原子交换(__sync_fetch_and_add())，但似乎线程数本身对于这个操作的长度很重要(而不是要失效的线程数)——这可能不是我想测量什么？!

我还尝试了读取、写入和内存屏障 (__sync_synchronize())。这看起来更像我期望看到的，但在这里我也不确定在最后的 rdtsc 发生时写入是否完成。

如您所料，我对 CPU 内部结构的了解有些有限。

非常感谢任何帮助!

附言: * 我使用 linux、gcc 和 pthreads 进行测量。 * 我想知道这个用于为我的并行算法建模。

编辑:

在一周左右(明天去度假)我会做更多的研究并发布我的代码和注释并在此处链接(以防有人感兴趣)，因为我可以花在这上面的时间是有限的。

Answer 1

我开始写一个很长的答案，准确描述它是如何工作的，然后意识到，我可能对确切的细节了解不够。所以我会做一个更短的答案....

因此，当您在一个处理器上写入某些内容时，如果它不在该处理器的缓存中，则必须将其取入，并且在处理器读取数据后，它将执行实际的写入。这样做时，它将向系统中的所有其他处理器发送缓存无效消息。然后这些将丢弃任何内容。如果另一个处理器有“脏”内容，它自己会写出数据，并请求无效——在这种情况下，第一个处理器必须在完成写入之前重新加载数据(否则，同一缓存行中的其他元素可能会被摧毁)。

在对该高速缓存行感兴趣的每个其他处理器上都需要将其读回高速缓存。

__sync_fetch_and_add() 将使用“锁”前缀 [在 x86 上，其他处理器可能会有所不同，但支持“每条指令”锁的处理器的一般想法大致相同] - 这将发出“我想要这个” cacheline EXCLUSIVEly，其他人请放弃它并使它无效”。就像第一种情况一样，处理器很可能必须重新读取另一个处理器可能弄脏的任何内容。

内存屏障不会确保数据“安全”更新 - 它只会确保“在此指令完成时，所有处理器都可以看到之前(内存)发生的任何事情”。

优化处理器使用的最佳方式是尽可能少地共享，尤其要避免“错误共享”。在多年前的基准测试中，有一个像这样[简化]的结构:

struct stuff {
    int x[2];
    ... other data ... total data a few cachelines. 
} data;

void thread1()
{
    for( ... big number ...)
        data.x[0]++;
}

void thread2()
{
    for( ... big number ...)
        data.x[1]++;
}

int main()
{
    start = timenow();

    create(thread1);
    create(thread2);

    end = timenow() - start;   
}

由于每次线程 1 写入 x[0]，线程 2 的处理器必须摆脱它的 x[1] 副本，反之亦然，结果是 SMP 测试 [vs 刚刚运行的线程 1] 正在运行大约慢 15 倍。通过像这样改变结构:

struct stuff {
    int x;
    ... other data ... 
} data[2];

和

void thread1()
{
    for( ... big number ...)
        data[0].x++;
}

我们得到了 1 线程变体的 200% [给定或取几个百分比]

是的，所以处理器有缓冲区队列，当处理器写入内存时，写入操作存储在缓冲区队列中。内存屏障(mfence、sfence 或 lfence)指令可确保在处理器继续执行下一条指令之前，任何未完成的读/写、写入或读取类型操作已完全完成。通常，处理器会继续愉快地执行任何后续指令，最终内存操作以某种方式完成。由于现代处理器在各处都有大量并行操作和缓冲区，因此可能需要相当长的时间才能让某些东西真正地流过它最终到达的地方。所以，当在继续之前确保某些事情确实已经完成是至关重要的(例如，如果我们已经向视频存储器写入了一堆指令，并且我们现在想要开始运行这些指令，我们需要让确保“指令”写入实际上已经完成，并且处理器的某些其他部分还没有完成它。所以使用 sfence 来确保写入确实发生了 - 这可能这不是一个非常现实的例子，但我想你明白了。)