tomcat - 紧急求救 : my SOLR prod server is crashing every 30 minutes

Question

更新:参见 Sunspot-Solr slowing down to a beast once my Application climbed to > 1000 objects [ Solr Logs Included ]

SysAdmin 已发现 Xen CPU 中断出现峰值，不知道是什么原因造成的。 Xen virq_timer 在崩溃前大约 10 分钟中断尖峰，这就是我们识别崩溃是否即将到来的方式。

一旦 xen cpu 在尖峰 tomcat 死亡后 10 分钟中断尖峰。

运行普通值设置。它正在索引博客文章类型的内容。这是我反复看到的错误:

严重:java.lang.OutOfMemoryError:Java 堆空间 在 org.apache.lucene.search.ExactPhraseScorer.(ExactPhraseScorer.java:37) 在 org.apache.lucene.search.PhraseQuery$PhraseWeight.scorer(PhraseQuery.java:251) 在 org.apache.lucene.search.BooleanQuery$BooleanWeight.scorer(BooleanQuery.java:298) 在 org.apache.lucene.search.FilteredQuery.getFilteredScorer(FilteredQuery.java:149) 在 org.apache.lucene.search.IndexSearcher.search(IndexSearcher.java:577) 在 org.apache.lucene.search.IndexSearcher.search(IndexSearcher.java:364) 在 org.apache.solr.search.SolrIndexSearcher.getDocListNC(SolrIndexSearcher.java:1296) 在 org.apache.solr.search.SolrIndexSearcher.getDocListC(SolrIndexSearcher.java:1176) 在 org.apache.solr.search.SolrIndexSearcher.search(SolrIndexSearcher.java:375) 在 org.apache.solr.handler.component.QueryComponent.process(QueryComponent.java:394)

严重:java.lang.OutOfMemoryError:Java 堆空间 在 java.util.Arrays.copyOf(Arrays.java:2894) 在 java.lang.AbstractStringBuilder.expandCapacity(AbstractStringBuilder.java:117) 在 java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:407) 在 java.lang.StringBuffer.append(StringBuffer.java:241) 在 java.util.logging.SimpleFormatter.format(SimpleFormatter.java:88) 在 org.apache.juli.FileHandler.publish(FileHandler.java:198) 在 java.util.logging.Logger.log(Logger.java:476) 在 org.slf4j.impl.JDK14LoggerAdapter.log(JDK14LoggerAdapter.java:588) 在 org.slf4j.impl.JDK14LoggerAdapter.info(JDK14LoggerAdapter.java:285)

在 org.apache.solr.core.SolrCore.execute(SolrCore.java:1386)

at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:127)
at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:102)
at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:109)
at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:293)
at org.apache.coyote.http11.Http11Processor.process(Http11Processor.java:859)
at org.apache.coyote.http11.Http11Protocol$Http11ConnectionHandler.process(Http11Protocol.java:602)
at org.apache.tomcat.util.net.JIoEndpoint$Worker.run(JIoEndpoint.java:489)
at java.lang.Thread.run(Thread.java:636)

2013 年 5 月 16 日 1:04:46 AM org.apache.solr.common.SolrException 日志严重:java.lang.OutOfMemoryError:Java 堆空间 在 org.apache.lucene.search.ExactPhraseScorer.(ExactPhraseScorer.java:38) 在 org.apache.lucene.search.PhraseQuery$PhraseWeight.scorer(PhraseQuery.java:251) 在 org.apache.lucene.search.BooleanQuery$BooleanWeight.scorer(BooleanQuery.java:298) 在 org.apache.lucene.search.FilteredQuery.getFilteredScorer(FilteredQuery.java:149) 在 org.apache.lucene.search.IndexSearcher.search(IndexSearcher.java:577) 在 org.apache.lucene.search.IndexSearcher.search(IndexSearcher.java:364) 在 org.apache.solr.search.SolrIndexSearcher.getDocListNC(SolrIndexSearcher.java:1296) 在 org.apache.solr.search.SolrIndexSearcher.getDocListC(SolrIndexSearcher.java:1176) 在 org.apache.solr.search.SolrIndexSearcher.search(SolrIndexSearcher.java:375)

在 org.apache.solr.handler.component.QueryComponent.process(QueryComponent.java:394)

设置:

export JAVA_OPTS="-Xms1024m -Xmx4096m"

Answer 1

也可能是您正在向服务器发送不同类型的查询，需要更多内存来处理的查询。 Java 不会按需分配内存，而是在应用程序启动时获取分配给它的内存，如果内存用完，它就会因 OutOfMemoryError 而崩溃。应用程序可能运行良好，直到索引大小增长并且查询消耗足够的内存导致问题。

默认的 Java 堆大小设置(256Mb？)对于运行 Solr 来说非常小。根据我的经验，1-2Gb 是有用的最小值，否则 Solr 会不断崩溃。您可以从管理界面观察 Solr 内存使用情况，并相应地调整您的设置以匹配特定索引/查询类型的内存要求。

您可以通过在启动时提供 Solr -Xmx1024m 参数来增加内存分配，或者将该设置添加到所有 Java 应用程序的 JAVA_OPTS 环境变量中。