java - 为什么大数组 java 很慢

Question

我创建了一个大长度类数组，约 150M 个元素，按键排序(如下所述)。然后我建立一个简单的http服务器来反馈每个请求作为数组上的二进制搜索功能。 (我确定服务器的工作没问题)

数据启动很好(当然很慢)。二进制搜索功能如预期的那样快。

问题是:响应很快(10分钟，1小时......很多时间范围)，然后服务器需要很长时间(几分钟)来为请求做二进制搜索功能，然后它是快回去，过一会儿再慢……虽然它很慢，但我检查了服务器状态 (htop)，似乎 jvm 在 GC 中。

当我将大数组拆分成较小的数组时，问题没有发生，例如:10 个 15M 元素的数组，我在继续搜索之前找到了目标数组。所以我想当我创建太大的数组时 JVM 中会发生一些事情

(编辑:我在将大数组拆分成多个部分时没有问题，因为我将“SiteInfo”对象实现为 native ，JVM 中的大量对象减少了。所以问题是由我创建的太多对象引起的，如下回复，谢谢大家)

伙计们，你们对我的问题有什么想法吗？

(我贴出我的代码，有一些我认为不是很重要的伪代码)

public static class Token2TopSite implements Comparable<Token2TopSite> {

    public final String token; // this is key for binary search
    public final SiteInfo[] topSites; // just data, not important at this question, I think

    public Token2TopSite(String token, SiteInfo[] topSites) {
        this.token = token;
        this.topSites = topSites;
    }

    @Override
    public int compareTo(Token2TopSite o) {
        return token.compareTo(o.token);
    }

    public static void main(String[] args) {
        Token2TopSite[] array = new Token2TopSite[150 * 1000000];
        ...; // init data for array, this runs properly
        Arrays.sort(array);
        startServerOnArray(array); // each request is a element search on the array
    }
} 

Answer 1

我认为欧米亚丹的诊断很可能是正确的。这些听起来像是 GC 暂停，如果堆中有大量长期存在的可访问对象，它们可能会特别糟糕。在执行“完整”收集时，GC 必须遍历所有 Activity 对象。

(您可以确认这真的是一个与 GC 相关的问题，方法是启用 GC 日志记录，并将服务器性能缓慢的时间与 GC 事件进行比较。)

但是，我不同意他建议的解决方案。

比重写应用程序更简单的解决方案是将 JVM 配置为使用“并发”或“低暂停”垃圾收集器。只需在启动 Web 服务器的 JVM 的命令上设置一些参数即可。

以下是一些 Oracle 引用资料:

• Garbage Collection Basics .
• HotSpot VM Options
• Java HotSpot Garbage Collection