- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我有一个任务,需要使用 hibernate 将大量数据插入数据库。我目前正在测试插入 500,000 个实体,每个实体都有一个关系,因此总共插入 1,000,000 个。基于此guide我创建了以下实际有效的代码。所有数据均已插入并提交,没有错误。
import javax.annotation.Resource;
import javax.ejb.*;
import javax.persistence.EntityManager;
import javax.persistence.PersistenceContext;
import javax.transaction.*;
import javax.xml.stream.XMLStreamException;
import javax.xml.transform.TransformerException;
import java.io.File;
import java.io.IOException;
import java.text.ParseException;
@Stateless
@TransactionManagement(TransactionManagementType.BEAN)
public class StackoverflowExample {
@PersistenceContext
private EntityManager entityManager;
@Resource
private SessionContext sessionContext;
@EJB
private XmlProcessorFactory xmlProcessorFactory;
@EJB
private TaskManagerBean taskManagerBean;
public void processFile(String[] args, Task task) throws HeuristicRollbackException, RollbackException, HeuristicMixedException, SystemException, IOException, TransformerException, ParseException, XMLStreamException, NotSupportedException {
UserTransaction tx = null;
XmlProcessor instance = xmlProcessorFactory.getInstance(new File("data.xml"));
XmlElement nextElement = instance.getNextElement();
int i = 0;
int batchSize = 50;
entityManager.setProperty("hibernate.jdbc.batch_size", batchSize);
tx = sessionContext.getUserTransaction();
tx.begin();
while (nextElement != null) {
Entry entry = new Entry(nextElement.getUserReference(), nextElement.getXml());
entityManager.persist(entry);
if (i % batchSize == 0) {
entityManager.flush();
entityManager.clear();
}
nextElement = instance.getNextElement();
i++;
}
task.setStatus(status);
task.setEndTime(now());
// This gives the OutOfMemoryError
entityManager.merge(task);
tx.commit();
}
}
这将在我调用 taskManagerBean.update() 的行中失败,并出现以下错误:
2017-03-31 08:49:30,212 ERROR [org.jboss.as.ejb3.invocation] (EJB default - 3) WFLYEJB0034:
EJB Invocation failed on component TaskManagerBean for method public void
TaskManagerBean.update(Task,TaskStatus):
javax.ejb.EJBTransactionRolledbackException: org.hibernate.exception.GenericJDBCException:
could not load an entity: [Task#3]
at org.jboss.as.ejb3.tx.CMTTxInterceptor.handleInCallerTx(CMTTxInterceptor.java:159)
at org.jboss.as.ejb3.tx.CMTTxInterceptor.invokeInCallerTx(CMTTxInterceptor.java:256)
...
at TaskManagerBean$$$view18.update(Unknown Source)
at StoreEntriesBean.processFile(StoreEntriesBean.java:117)
...
at org.jboss.threads.JBossThread.run(JBossThread.java:320)
Caused by: javax.persistence.PersistenceException: org.hibernate.exception.GenericJDBCException: could not load an entity: [Task#3]
at org.hibernate.jpa.spi.AbstractEntityManagerImpl.convert(AbstractEntityManagerImpl.java:1692)
...
at org.jboss.as.ejb3.tx.CMTTxInterceptor.invokeInCallerTx(CMTTxInterceptor.java:254)
... 104 more
Caused by: org.hibernate.exception.GenericJDBCException: could not load an entity: [Task#3]
at org.hibernate.exception.internal.StandardSQLExceptionConverter.convert(StandardSQLExceptionConverter.java:47)
...
at org.hibernate.jpa.spi.AbstractEntityManagerImpl.merge(AbstractEntityManagerImpl.java:1161)
... 135 more
Caused by: java.sql.SQLException: Error
at org.jboss.jca.adapters.jdbc.WrappedConnection.checkException(WrappedConnection.java:1972)
...
at org.hibernate.loader.Loader.loadEntity(Loader.java:2204)
... 155 more
Caused by: java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOfRange(Arrays.java:3664)
...
at org.hibernate.event.internal.DefaultLoadEventListener.doLoad(DefaultLoadEventListener.java:478)
Runtime.getRuntime().freeMemory()
在错误发生之前返回 71540896。
我使用 -Xmx2048m 启动 Wildfly,快速浏览一下内存使用情况,发现它只使用了不到一半。
我尝试在每 1,000 次插入后提交插入的条目。这会触发 TaskManagerBean
,并且在几次更新后它也会以同样的方式失败。在某些情况下,我在完成大量批处理作业并且要更新所属实体后也看到了此错误。
我尝试过使用只有 5,000 个条目的文件,整个过程运行良好。
这是 MySQL 驱动程序中的错误还是我在这里做错了什么?
最佳答案
尝试通过 EJB 运行批处理几乎永远不会成功,因为要么内存不足,要么事务超时。
这也是“批量申请”的原因之一开发了“Java 平台”(又名 JSR-352)规范。
WildFly 10 为您提供了此功能的实现。
您可以在Batch Applications in Java EE 7 - Undertanding JSR 352 Concepts: TOTD #192阅读更多相关信息。
关于java - 批量插入导致失败,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43111159/
我正在尝试使用 Spark 从 Cassandra 读取数据。 DataFrame rdf = sqlContext.read().option("keyspace", "readypulse
这是代码: void i_log_ (int error, const char * file, int line, const char * fmt, ...) { /* Get erro
我必须调试一个严重依赖 Gtk 的程序。问题是由于某些原因,在使用 GtkWindow 对象时开始出现许多运行时警告。问题是,即使 Gtk 提示严重错误,它也不会因这些错误而中止。我没有代码库的更改历
我正在尝试从已有效编译和链接的程序中检索二进制文件。我已经通过 GL_PROGRAM_BINARY_LENGTH 收到了它的长度。该文档说有两个实例可能会发生 GL_INVALID_OPERATION
我有一个托管在 Azure 环境中的服务。我正在使用控制台应用程序使用该服务。这样做时,我得到了异常: "The requested service, 'http://xxxx-d.yyyy.be/S
我有以下代码,它被 SEGV 信号杀死。使用调试器表明它被 main() 中的第一个 sem_init() 杀死。如果我注释掉第一个 sem_init() ,第二个会导致同样的问题。我试图弄清楚是什么
目前我正在编写一个应用程序(目标 iOS 6,启用 ARC),它使用 JSON 进行数据传输,使用核心数据进行持久存储。 JSON 数据由 PHP 脚本通过 json_encode 从 MySQL 数
我对 Xamarin.Forms 还是很陌生。我在出现的主页上有一个非常简单的功能 async public Task BaseAppearing() { if (UserID
这是我的代码的简化版本。 public class MainActivity extends ActionBarActivity { private ArrayList entry = new Arr
我想弄明白为什么我的两个 Java 库很难很好地协同工作。这是场景: 库 1 有一个类 A,其构造函数如下: public A(Object obj) { /* boilerplate */ } 在以
如果网站不需要身份验证,我的代码可以正常工作,如果需要,则在打印“已创建凭据”后会立即出现 EXC_BAD_ACCESS 错误。我不会发布任何内容,并且此代码是直接从文档中复制的 - 知道出了什么问题
我在使用 NSArray 填充 UITableView 时遇到问题。我确信我正在做一些愚蠢的事情,但我无法弄清楚。当我尝试进行简单的计数时,我得到了 EXC_BAD_ACCESS,我知道这是因为我试图
我在 UITableViewCell 上有一个 UITextField,在另一个单元格上有一个按钮。 我单击 UITextField(出现键盘)。 UITextField 调用了以下方法: - (BO
我有一个应用程序出现间歇性崩溃。崩溃日志显示了一个堆栈跟踪,这对我来说很难破译,因此希望其他人看到了这一点并能为我指出正确的方向。 基本上,应用程序在启动时执行反向地理编码请求,以在标签中显示用户的位
我开发了一个 CGImage,当程序使用以下命令将其显示在屏幕上时它工作正常: [output_view.layer performSelectorOnMainThread:@selector(set
我正在使用新的 EncryptedSharedPreferences以谷歌推荐的方式上课: private fun securePrefs(context: Context): SharedPrefe
我有一个中继器,里面有一些控件,其中一个是文本框。我正在尝试使用 jquery 获取文本框,我的代码如下所示: $("#").click(function (event) {}); 但我总是得到 nu
在以下场景中观察到 TTS 初始化错误,太随机了。 已安装 TTS 引擎,存在语音集,并且可以从辅助功能选项中播放示例 tts。 TTS 初始化在之前初始化和播放的同一设备上随机失败。 在不同的设备(
maven pom.xml org.openjdk.jol jol-core 0.10 Java 类: public class MyObjectData { pr
在不担心冲突的情况下,可以使用 MD5 作为哈希值,字符串长度最多为多少? 这可能是通过为特定字符集中的每个可能的字符串生成 MD5 哈希来计算的,长度不断增加,直到哈希第二次出现(冲突)。没有冲突的
我是一名优秀的程序员,十分优秀!