gpt4 book ai didi

java - 批量插入导致失败

转载 作者:行者123 更新时间:2023-11-29 10:55:26 26 4
gpt4 key购买 nike

我有一个任务,需要使用 hibernate 将大量数据插入数据库。我目前正在测试插入 500,000 个实体,每个实体都有一个关系,因此总共插入 1,000,000 个。基于此guide我创建了以下实际有效的代码。所有数据均已插入并提交,没有错误。

import javax.annotation.Resource;
import javax.ejb.*;
import javax.persistence.EntityManager;
import javax.persistence.PersistenceContext;
import javax.transaction.*;
import javax.xml.stream.XMLStreamException;
import javax.xml.transform.TransformerException;
import java.io.File;
import java.io.IOException;
import java.text.ParseException;

@Stateless
@TransactionManagement(TransactionManagementType.BEAN)
public class StackoverflowExample {
@PersistenceContext
private EntityManager entityManager;

@Resource
private SessionContext sessionContext;

@EJB
private XmlProcessorFactory xmlProcessorFactory;

@EJB
private TaskManagerBean taskManagerBean;

public void processFile(String[] args, Task task) throws HeuristicRollbackException, RollbackException, HeuristicMixedException, SystemException, IOException, TransformerException, ParseException, XMLStreamException, NotSupportedException {
UserTransaction tx = null;

XmlProcessor instance = xmlProcessorFactory.getInstance(new File("data.xml"));

XmlElement nextElement = instance.getNextElement();
int i = 0;
int batchSize = 50;
entityManager.setProperty("hibernate.jdbc.batch_size", batchSize);
tx = sessionContext.getUserTransaction();
tx.begin();
while (nextElement != null) {
Entry entry = new Entry(nextElement.getUserReference(), nextElement.getXml());

entityManager.persist(entry);

if (i % batchSize == 0) {
entityManager.flush();
entityManager.clear();
}

nextElement = instance.getNextElement();
i++;
}

task.setStatus(status);
task.setEndTime(now());
// This gives the OutOfMemoryError
entityManager.merge(task);

tx.commit();
}
}

这将在我调用 taskManagerBean.update() 的行中失败,并出现以下错误:

2017-03-31 08:49:30,212 ERROR [org.jboss.as.ejb3.invocation] (EJB default - 3) WFLYEJB0034:
EJB Invocation failed on component TaskManagerBean for method public void
TaskManagerBean.update(Task,TaskStatus):
javax.ejb.EJBTransactionRolledbackException: org.hibernate.exception.GenericJDBCException:
could not load an entity: [Task#3]
at org.jboss.as.ejb3.tx.CMTTxInterceptor.handleInCallerTx(CMTTxInterceptor.java:159)
at org.jboss.as.ejb3.tx.CMTTxInterceptor.invokeInCallerTx(CMTTxInterceptor.java:256)
...
at TaskManagerBean$$$view18.update(Unknown Source)
at StoreEntriesBean.processFile(StoreEntriesBean.java:117)
...
at org.jboss.threads.JBossThread.run(JBossThread.java:320)
Caused by: javax.persistence.PersistenceException: org.hibernate.exception.GenericJDBCException: could not load an entity: [Task#3]
at org.hibernate.jpa.spi.AbstractEntityManagerImpl.convert(AbstractEntityManagerImpl.java:1692)
...
at org.jboss.as.ejb3.tx.CMTTxInterceptor.invokeInCallerTx(CMTTxInterceptor.java:254)
... 104 more
Caused by: org.hibernate.exception.GenericJDBCException: could not load an entity: [Task#3]
at org.hibernate.exception.internal.StandardSQLExceptionConverter.convert(StandardSQLExceptionConverter.java:47)
...
at org.hibernate.jpa.spi.AbstractEntityManagerImpl.merge(AbstractEntityManagerImpl.java:1161)
... 135 more
Caused by: java.sql.SQLException: Error
at org.jboss.jca.adapters.jdbc.WrappedConnection.checkException(WrappedConnection.java:1972)
...
at org.hibernate.loader.Loader.loadEntity(Loader.java:2204)
... 155 more
Caused by: java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOfRange(Arrays.java:3664)
...
at org.hibernate.event.internal.DefaultLoadEventListener.doLoad(DefaultLoadEventListener.java:478)

Runtime.getRuntime().freeMemory() 在错误发生之前返回 71540896。

我使用 -Xmx2048m 启动 Wildfly,快速浏览一下内存使用情况,发现它只使用了不到一半。

我尝试在每 1,000 次插入后提交插入的条目。这会触发 TaskManagerBean,并且在几次更新后它也会以同样的方式失败。在某些情况下,我在完成大量批处理作业并且要更新所属实体后也看到了此错误。

我尝试过使用只有 5,000 个条目的文件,整个过程运行良好。

这是 MySQL 驱动程序中的错误还是我在这里做错了什么?

最佳答案

尝试通过 EJB 运行批处理几乎永远不会成功,因为要么内存不足,要么事务超时。

这也是“批量申请”的原因之一开发了“Java 平台”(又名 JSR-352)规范。

WildFly 10 为您提供了此功能的实现。

您可以在Batch Applications in Java EE 7 - Undertanding JSR 352 Concepts: TOTD #192阅读更多相关信息。

关于java - 批量插入导致失败,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43111159/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com