java - 使用并行流提高数据库密集型任务的 CPU 利用率

Question

我正在使用java 8并行流将数据插入数据库。以下是代码

customers.parallelStream().forEach(t->{

        UserTransaction userTransaction = new UserTransactionImp();
        try {
            userTransaction.begin();
            userTransaction.setTransactionTimeout(300);
            //CODE to write data to DB for each customer in a global transaction using atomikos and hibernate
            userTransaction.commit();
        }catch(Exception e){
            userTransaction.rollback();
        }
    });

完成任务需要2个多小时。我在两个不同的实例(两个java main方法)中运行相同的测试。完成所需的时间减少到1小时。有没有其他方法可以扩展在一个java实例中。我使用Atomikos，Hibernate进行持久化。我配置了批处理，插入排序和更新排序。每个东西都正确批处理并且工作正常。但我观察到在此期间 CPU 利用率不超过 30%。有没有办法利用更多处理器并对其进行扩展。

Answer 1

parallelStream() 基本上为您提供了“默认”实现。我听到一个人曾经说过:“每当你使用这个结构时，衡量它的效果”。

换句话说:当您对默认实现不满意时，您可能需要研究您自己的实现。不关注单一操作，而是关注“整体”。

示例:如果您将每个“镜头”的 5、10、50 个“用户”“标记”在一起会怎样 - 意思是:您减少了交易数量，但允许每个交易中包含更多内容。

是的，这是一个非常通用的答案 - 但这是一个非常通用的问题。我们完全不知道你的代码在那里做什么 - 所以这里没有人能告诉什么是减少整体运行时间的“完美”方法。

除此之外:您还想分析您的整个设置。也许你的问题不是“java”部分 - 而是你的数据库。内存不够，工作量太大……或者网络，或者，或者，或者。换句话说:首先专注于了解性能瓶颈真正存在的位置。

(关于“性能”和瓶颈的好读物:Michael Nygard 的古老经典“Release it”)