- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我使用 hibernate search 和 elasticsearch 作为我的索引管理器。目前,我的 jvm 设置为使用 1GB 内存,我不希望增加内存。
我有一个 @Transactional
类,它为索引的 @Entity
插入总共 200 万行。
尽管插入成功,但 lucene 索引器内存不足,导致事务回滚。以下是我的 hibernate-search 配置和异常堆栈跟踪:
hibernate.search.default.indexmanager = elasticsearch
elastic= hibernate.search.default.elasticsearch.host =http://localhost:9200
hibernate.search.default.elasticsearch.index_schema_management_strategy = CREATE
#should be green for prod
hibernate.search.default.elasticsearch.required_index_status = yellow
hibernate.search.elasticsearch.scroll_backtracking_window_size=10000
hibernate.search.elasticsearch.scroll_fetch_size=1000
堆栈跟踪:
Exception in thread "Hibernate Search: Elasticsearch transport thread-3" java.lang.OutOfMemoryError: GC overhead limit exceeded
at java.util.HashMap$KeySet.iterator(HashMap.java:917)
at java.util.HashSet.iterator(HashSet.java:173)
at java.util.Collections$UnmodifiableCollection$1.<init>(Collections.java:1039)
at java.util.Collections$UnmodifiableCollection.iterator(Collections.java:1038)
at org.apache.http.impl.nio.reactor.BaseIOReactor.validate(BaseIOReactor.java:212)
at org.apache.http.impl.nio.reactor.AbstractIOReactor.execute(AbstractIOReactor.java:280)
at org.apache.http.impl.nio.reactor.BaseIOReactor.execute(BaseIOReactor.java:104)
at org.apache.http.impl.nio.reactor.AbstractMultiworkerIOReactor$Worker.run(AbstractMultiworkerIOReactor.java:588)
at java.lang.Thread.run(Thread.java:748)
2018-08-15 11:37:53.184 ERROR 10624 --- [nsport thread-1] o.a.h.i.n.c.InternalHttpAsyncClient : I/O reactor terminated abnormally
org.apache.http.nio.reactor.IOReactorException: I/O dispatch worker terminated abnormally
at org.apache.http.impl.nio.reactor.AbstractMultiworkerIOReactor.execute(AbstractMultiworkerIOReactor.java:356) ~[httpcore-nio-4.4.9.jar:4.4.9]
at org.apache.http.impl.nio.conn.PoolingNHttpClientConnectionManager.execute(PoolingNHttpClientConnectionManager.java:194) ~[httpasyncclient-4.1.3.jar:4.1.3]
at org.apache.http.impl.nio.client.CloseableHttpAsyncClientBase$1.run(CloseableHttpAsyncClientBase.java:64) ~[httpasyncclient-4.1.3.jar:4.1.3]
at java.lang.Thread.run(Thread.java:748) [na:1.8.0_171]
Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded
at java.util.HashMap$KeySet.iterator(HashMap.java:917) ~[na:1.8.0_171]
at java.util.HashSet.iterator(HashSet.java:173) ~[na:1.8.0_171]
at java.util.Collections$UnmodifiableCollection$1.<init>(Collections.java:1039) ~[na:1.8.0_171]
at java.util.Collections$UnmodifiableCollection.iterator(Collections.java:1038) ~[na:1.8.0_171]
at org.apache.http.impl.nio.reactor.BaseIOReactor.validate(BaseIOReactor.java:212) ~[httpcore-nio-4.4.9.jar:4.4.9]
at org.apache.http.impl.nio.reactor.AbstractIOReactor.execute(AbstractIOReactor.java:280) ~[httpcore-nio-4.4.9.jar:4.4.9]
at org.apache.http.impl.nio.reactor.BaseIOReactor.execute(BaseIOReactor.java:104) ~[httpcore-nio-4.4.9.jar:4.4.9]
at org.apache.http.impl.nio.reactor.AbstractMultiworkerIOReactor$Worker.run(AbstractMultiworkerIOReactor.java:588) ~[httpcore-nio-4.4.9.jar:4.4.9]
... 1 common frames omitted
是否有任何调整可以帮助缓解这种情况?
最佳答案
仅仅因为 Hibernate Search 索引器触发了 OutOfMemoryError
,并不意味着 Hibernate Search 索引器消耗了太多内存。它只是碰巧超出了内存限制,但问题也可能在于实体持久性代码的行为方式。需要明确的是,如果 JVM 的其余部分占用 999MB,而 Hibernate Search 仅分配 2MB,则 Hibernate Search 最后请求内存时将触发 OutOfMemoryError
。
现在,在持久化/索引大量数据时最可能出现的问题是,您没有在代码中采取任何预防措施,只是循环并向事务添加越来越多的更改,从而迫使 Hibernate ORM 和搜索存储更多和内部缓冲区中有更多数据,直到事务最终提交。
除非您使用 JMS 后端(这很难,我不会推荐),否则我所知道的唯一解决方案将迫使您失去一点“事务性”,这意味着您的流程中的失败将导致让您的数据处于不一致的状态。
第一个也许更正确的解决方案是,您不要使用单个大交易,而是使用多个较小的交易。例如,为 200 个元素的每个 block 创建一个事务。当然,这意味着如果一个 block 失败,以前的 block 仍将在数据库中,但在许多情况下这可能并不重要,因为您可以从失败的位置重新启动,并且索引仍将与数据库同步。
Spring 使您可以使用 transaction templates 控制事务,因此您可以为 200 个元素的每个 block 手动启动一个新事务,或者只需重构代码以将 @Transactional
注释放在正确的位置。
第二种解决方案是您仍然使用单个大事务,但在事务期间定期将更改刷新到数据库(如果事务中止,稍后可以回滚更改,不要这样做)不用担心)和索引(稍后将无法回滚更改)。这尤其意味着,如果事务失败,您将必须重新启动所有内容并清除索引,因为它将不再与数据库同步(回滚更改)。
您可以在文档中找到使用定期刷新的示例:https://docs.jboss.org/hibernate/search/5.10/reference/en-US/html_single/#search-batchindex-flushtoindexes
如果您修改该示例,您的代码将或多或少看起来像这样:
// Execute the code below inside a transaction
Session session = ...;
FullTextSession fullTextSession = Search.getFullTextSession( session );
int index = 0;
while(results.next()) {
index++;
// TODO: add code here to insert one row
if (index % BATCH_SIZE == 0) {
session.flush(); //apply changes to the database
fullTextSession.flushToIndexes(); //apply changes to indexes
fullTextSession.clear(); //free memory since the queue is processed
}
}
关于java - Hibernate搜索: Elasticsearch transport thread-3"java. lang.OutOfMemoryError:,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51856477/
我在这里有一个问题,我不知道这是否正常。 但是我认为这里有些湖,安装插件elasticsearch-head之后,我在浏览器中启动url“http://localhost:9200/_plugin/h
我写了这个 flex 搜索查询: es.search(index=['ind1'],doc_type=['doc']) 我得到以下结果: {'_shards': {'failed': 0, 'skip
在ElasticSearch.Net v.5中,存在一个属性 Elasticsearch.Net.RequestData.Path ,该属性在ElasticSearch.Net v.6中已成为depr
如何让 elasticsearch 应用新配置?我更改了文件 ~ES_HOME/config/elasticsearch.yml 中的一个字符串: # Disable HTTP completely:
我正在尝试使用以下分析器在 elastic serach 7.1 中实现部分子字符串搜索 PUT my_index-001 { "settings": { "analysis": {
假设一个 elasticsearch 服务器在很短的时间内接收到 100 个任务。有些任务很短,有些任务很耗时,有些任务是删除任务,有些是插入和搜索查询。 elasticsearch 是如何决定先运行
我需要根据日期过滤一组值(在此处添加字段),然后按 device_id 对其进行分组。所以我正在使用以下东西: { "aggs":{ "dates_between":{ "fi
我在 Elasticsearch 中有一个企业索引。索引中的每个文档代表一个业务,每个业务都有business_hours。我试图允许使用星期几和时间过滤营业时间。例如,我们希望能够进行过滤,以显示我
我有一个这样的过滤查询 query: { filtered: { query: { bool: { should: [{multi_match: {
Elasticsearch 相当新,所以可能不得不忍受我,我遇到了一个问题,如果我使用 20 个字符或更少的字符搜索文档,文档会出现,但是查询中同一个单词中的任何更多字符,我没有结果: 使用“苯氧甲基
我试图更好地理解 ElasticSearch 的内部结构,所以我想知道 ElasticSearch 在内部计算以下两种情况的术语统计信息的方式是否存在任何差异。 第一种情况是当我有这样的文件时: {
在我的 elasticsearch 索引中,我索引了一堆工作。为简单起见,我们只说它们是一堆职位。当人们在我的搜索引擎中输入职位时,我想“自动完成”可能的匹配。 我在这里调查了完成建议:http://
我在很多映射中使用多字段。在 Elastic Search 的文档中,指示应将多字段替换为“fields”参数。参见 http://www.elasticsearch.org/guide/en/ela
我有如下查询, query = { "query": {"query_string": {"query": "%s" % q}}, "filter":{"ids
我有一个Json数据 "hits": [ { "_index": "outboxprov1", "_type": "deleted-c
这可能是一个初学者的问题,但我对大小有一些疑问。 根据 Elasticsearch 规范,大小的最大值可以是 10000,我想在下面验证我的理解: 示例查询: GET testindex-2016.0
我在 Elastic Search 中发现了滚动功能,这看起来非常有趣。看了那么多文档,下面的问题我还是不清楚。 如果偏移量已经存在那么为什么要使用滚动? 即将到来的记录呢?假设它完成了所有数据的滚动
我有以下基于注释的 Elasticsearch 配置,我已将索引设置为不被分析,因为我不希望这些字段被标记化: @Document(indexName = "abc", type = "efg
我正在尝试在单个索引中创建多个类型。例如,我试图在host索引中创建两种类型(post,ytb),以便在它们之间创建父子关系。 PUT /ytb { "mappings": { "po
我尝试创建一个简单的模板,包括一些动态模板,但我似乎无法为文档编制索引。 我得到错误: 400 {"error":"MapperParsingException[mapping [_default_]
我是一名优秀的程序员,十分优秀!