java - 通过 Spring Batch 部分读取和写入数据 - OutOfMemoryError : GC overhead limit exceeded

Question

我正在运行一个带有 Spring 批处理作业的应用程序。当我尝试从一个数据源收集一些数据并将其发布到另一个数据源时，出现以下异常。

o.s.batch.core.step.AbstractStep -  Encountered an error executing step upload in job reviewsToYtBatchJob
java.lang.OutOfMemoryError: GC overhead limit exceeded
at com.mysql.jdbc.Buffer.<init>(Buffer.java:59)
at com.mysql.jdbc.MysqlIO.nextRow(MysqlIO.java:1967)
at com.mysql.jdbc.MysqlIO.readSingleRowSet(MysqlIO.java:3401)
at com.mysql.jdbc.MysqlIO.getResultSet(MysqlIO.java:483)
at com.mysql.jdbc.MysqlIO.readResultsForQueryOrUpdate(MysqlIO.java:3096)
at com.mysql.jdbc.MysqlIO.readAllResults(MysqlIO.java:2266)
at com.mysql.jdbc.ServerPreparedStatement.serverExecute(ServerPreparedStatement.java:1485)
at com.mysql.jdbc.ServerPreparedStatement.executeInternal(ServerPreparedStatement.java:856)
at com.mysql.jdbc.PreparedStatement.executeQuery(PreparedStatement.java:2318)
at com.zaxxer.hikari.pool.ProxyPreparedStatement.executeQuery(ProxyPreparedStatement.java:52)
at com.zaxxer.hikari.pool.HikariProxyPreparedStatement.executeQuery(HikariProxyPreparedStatement.java)
at org.springframework.batch.item.database.JdbcCursorItemReader.openCursor(JdbcCursorItemReader.java:126)

我的问题是:

• 如何获取堆大小参数？
• 如何部分获取数据？

它仅适用于少量数据。我也尝试过这个:

reader.setFetchSize(CHUNK_SIZE); //JdbcCursorItemReader
uploadStep.chunk(CHUNK_SIZE);  //SimpleStepBuilder

CHUNK_SIZE 尝试从 100 到 10000 如果我限制所选数据的大小，则不会超出堆大小。

protected ItemReader<Review> reader() {
        JdbcCursorItemReader<Review> reader = new JdbcCursorItemReader<>();
        reader.setDataSource(dataScource);
        reader.setSql(
         //sql query
        );
        reader.setFetchSize(CHUNK_SIZE);
        reader.setRowMapper(
                (rs, rowNum) -> new Review(
                        rs.getLong("reviewId"),
                        //map data

                )
        );
        return reader;
    }

private ItemProcessor<Review, ReviewTo> processor() {
        return review -> new ReviewTo(
                //parameters
        );
    }
private ItemWriter<ReviewTo> writer() {
    return new ItemWriter<>(client);
}

private TaskletStep uploadStep() {
    SimpleStepBuilder<Review, ReviewTo> uploadStep = new SimpleStepBuilder<>(stepBuilderFactory.get("upload"));
    return uploadStep
            .chunk(CHUNK_SIZE)
            .reader(reader())
            .processor(processor())
            .writer(writer())
            .allowStartIfComplete(true)
            .build();
}

@Bean
public Job reviewsToYtBatchJob() {
    return jobBuilderFactory.get(JOB_NAME)
            .start(//generate table)
                    .build())
            .next(stepBuilderFactory.get("createTmpTable")
                    .tasklet(//step)
                    .build())
            .next(uploadStep())
            .next(stepBuilderFactory.get("moveTmpTableToDestination")
                    .tasklet(//step)
                    .build())
            .build();
}

Answer 1

block 处理的整体思想是不将整个数据集加载到内存中，而是以 block 的形式进行。因此，像您一样使用面向 block 的步骤是正确的方法。

How to get heap size parameter?

嗯，该参数是您使用 -Xms 和 -Xmx 传递给 JVM 的参数。请参阅 JVM 文档中的默认值。

How fetch data partially?

当您设置面向 block 的步骤时，Spring Batch 将根据您的步骤的 chunkSize 和 JdbcCursorItemReader 的 fetchSize 自动执行此操作。顺便说一句，我看到您为这两个参数设置了相同的值，这是一件好事!匹配 fetchSize 和 chunkSize 通常会带来更好的性能。

所以我认为你的问题并不是真正的问题，因为增加 block 大小时，更多的项目会被加载到内存中，直到出现 OOM 错误，这是正常的。