java - 多线程访问内存

Question

我正在编写一个在 Nehalem 处理器上运行的多线程 Java 应用程序。但是我有一个问题，从 4 个线程开始我几乎看不到我的应用程序的加速。

我做了一些简单的测试。我创建了一个线程，它只分配一个大数组并访问数组中的随机条目。因此，当我运行线程数时，运行时间不应改变(假设我没有超过可用 CPU 内核的数量)。但我观察到的是，运行 1 或 2 个线程花费的时间几乎相同，但运行 4 或 8 个线程要慢得多。因此，在尝试解决我的应用程序中的算法和同步问题之前，我想找出我可以实现的最大可能并行化是什么。

我使用了 -XX:+UseNUMA JVM 选项，所以数组应该分配在相应线程附近的内存中。

附言如果线程进行简单的数学计算，4 个甚至 8 个线程都没有时间下降，所以我得出结论，当线程访问内存时我遇到了一些问题。

感谢任何帮助或想法，谢谢。

---

编辑

谢谢大家的回复。我发现我对自己的解释还不够好。

在尝试消除我的应用程序中的同步问题之前，我做了一个简单的测试来检查可以实现的最佳并行化。代码如下:

public class TestMultiThreadingArrayAccess {
    private final static int arrSize = 40000000;

    private class SimpleLoop extends Thread {
        public void run() {
            int array[] = new int[arrSize];
            for (long i = 0; i < arrSize * 10; i++) {
                array[(int) ((i * i) % arrSize)]++; // randomize a bit the access to the array
            }
            long sum = 0;
            for (int i = 0; i < arrSize; i++)
                sum += array[i];
        }
    }

    public static void main(String[] args) {
        TestMultiThreadingArrayAccess test = new TestMultiThreadingArrayAccess();
        for (int threadsNumber : new int[] { 1, 2, 4, 8 }) {
            Statistics timer = new Statistics("Executing " + threadsNumber+ " threads"); // Statistics is a simple helper class that measures the times
            timer.start();
            test.doTest(threadsNumber);
            timer.stop();
            System.out.println(timer.toString());
        }
    }

    public void doTest(int threadsNumber) {
        Thread threads[] = new Thread[threadsNumber];
        for (int i = 0; i < threads.length; i++) {
            threads[i] = new SimpleLoop();
            threads[i].start();
        }

        for (int i = 0; i < threads.length; i++)
            try {
                threads[i].join();
            } catch (InterruptedException e) {
            };
    }
}

所以正如您所见，在这个小型测试中根本没有同步，而且数组的分配是在线程内部进行的，因此它应该放在可以快速访问的内存块中。此代码中也没有内存争用。对于 4 个线程，运行时间仍然下降了 30%，而 8 个线程的运行速度慢了两倍。正如您从代码中看到的那样，我只是等到所有线程完成它们的工作，并且由于它们的工作是独立的，线程数不应影响执行所需的总时间。

在机器上安装了 2 个四核超线程 Nehalem 处理器(总共 16 个 CPU)，因此 8 个线程每个线程都可以独占它的 CPU。

当我尝试使用较小的数组(20K 条目)运行此测试时，4 个线程的执行时间下降了 7%，8 个线程下降了 14%，这令人满意。但是当我尝试对大型数组(40M 条目)进行随机访问时，运行时间急剧增加，所以我认为存在大块内存(因为它们不适合缓存内存？)以非访问方式访问的问题-高效的方式。

有什么解决办法吗？

希望这能以更好的方式澄清问题，再次感谢。

Answer 1

测试中的瓶颈是 cpu 到内存的带宽。即使本地内存可用，它也会被一定数量的线程共享。 (内存是节点本地的，而不是特定内核的本地内存。)一旦 CPU 很容易超过上面测试中的简单循环的可用带宽，因此在此类测试中增加线程不会提高性能，反而会降低性能由于缓存一致性恶化。

只是一个合理性测试，你是否也在使用并行收集器？ -XX:+UseParallelGC。 UseNUMA 才会生效。