- Java 双重比较
- java - 比较器与 Apache BeanComparator
- Objective-C 完成 block 导致额外的方法调用?
- database - RESTful URI 是否应该公开数据库主键?
使用 Oracle java JDBC (ojdbc14 10.2.x),加载包含许多行的查询需要永远(高延迟环境。这显然是 Oracle JDBC 中的默认预取是默认大小“10”,每次需要一次往返时间10 行。我试图设置一个积极的预取大小来避免这种情况。
PreparedStatement stmt = conn.prepareStatement("select * from tablename");
statement.setFetchSize(10000);
ResultSet rs = statement.executeQuery();
这可以工作,但我得到了一个内存不足的异常。我曾假设 setFetchSize 会告诉它在它们进入时缓冲“那么多行”,使用每行所需的尽可能多的 RAM。如果我运行 50 个线程,即使有 16G 的 -XMX 空间,它也会耗尽内存。感觉几乎像泄漏:
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at java.lang.reflect.Array.newArray(Native Method)
at java.lang.reflect.Array.newInstance(Array.java:70)
at oracle.jdbc.driver.BufferCache.get(BufferCache.java:226)
at oracle.jdbc.driver.PhysicalConnection.getCharBuffer(PhysicalConnection.java:7422)
at oracle.jdbc.driver.OracleStatement.prepareAccessors(OracleStatement.java:983)
at oracle.jdbc.driver.T4CTTIdcb.receiveCommon(T4CTTIdcb.java:273)
at oracle.jdbc.driver.T4CTTIdcb.receive(T4CTTIdcb.java:144)
at oracle.jdbc.driver.T4C8Oall.readDCB(T4C8Oall.java:771)
at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:346)
at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:186)
at oracle.jdbc.driver.T4C8Oall.doOALL(T4C8Oall.java:521)
at oracle.jdbc.driver.T4CPreparedStatement.doOall8(T4CPreparedStatement.java:205)
at oracle.jdbc.driver.T4CPreparedStatement.executeForDescribe(T4CPreparedStatement.java:861)
at oracle.jdbc.driver.OracleStatement.executeMaybeDescribe(OracleStatement.java:1145)
at oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1267)
at oracle.jdbc.driver.OraclePreparedStatement.executeInternal(OraclePreparedStatement.java:3449)
at oracle.jdbc.driver.OraclePreparedStatement.executeQuery(OraclePreparedStatement.java:3493)
at oracle.jdbc.driver.OraclePreparedStatementWrapper.executeQuery(OraclePreparedStatementWrapper.java:1491)
....
我该怎么做才能仍然获得预取但不会耗尽 RAM?这是怎么回事?
SO 上最接近的相关项是:https://stackoverflow.com/a/14317881/32453
最佳答案
基本上,oracle 对于最近的 ojdbc jar 的默认策略是为每个“预取”行“预分配”一个数组,以适应从该查询可能返回的最大尺寸。对于所有行。所以在我的例子中,我有一些 VARCHAR2(4000),50 个线程(语句)* varchar2 的 3 列 * 4000 加起来超过千兆字节的 RAM,setFetchSize 为几百 [yikes]。似乎没有一个选项可以说“不要预先分配该数组,只需使用它们进来时的大小”。 Ojdbc 甚至将这些预先分配的缓冲区保留在 preparedstatements(缓存/连接)之间,以便可以重用它们。绝对是内存消耗者。
一个解决方法:使用 setFetchSize
到一些合理的数量。默认值为 10,这在高延迟连接上可能会非常慢。配置文件并仅使用尽可能高的 setFetchSize 实际上可以显着提高速度。
另一种解决方法是确定最大实际列大小,然后将查询替换为(假设 50 是已知的最大实际大小)select substr(column_name, 0, 50)
您可以做的其他事情:减少预取行数,增加 java -Xmx
参数,只选择您实际需要的列。
一旦我们能够在所有查询上使用至少 400 预取 [确保进行分析以查看哪些数字对您有利,在高延迟的情况下我们看到了预取大小 3-4K 的改进],性能显着提高。
我想,如果您想对稀疏的“非常长”的行采取真正积极的态度,那么当您遇到这些 [罕见的] 大行时,您可以重新查询。
详细信息令人作呕 here
关于java - Oracle JDBC 预取 : how to avoid running out of RAM/how to make oracle faster high latency,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28161049/
我正在尝试将网页内容打印到一页纸上。但是,它将内容分成 2 页,所以我在这里做了一些研究,看到有人推荐: #my_print_div{ width:940px; height:770px; page
我目前正在打印一些东西。我有一个动态页面,其中包含可变数量的 block 级元素。有些可能是 1 行,有些可能是 100 多行。 1text 1 line.... 2text 10 lines....
很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈,无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开,visit the help center . 关闭 9
我正在训练一个 randomForest 模型,目的是保存它以进行预测(它将被下载并在外部上下文中使用)。我希望这个模型尽可能最小。 我读到有很多options和 packages减少模型的内存大小。
这个问题在这里已经有了答案: MySQL connection timeout (3 个答案) 关闭 9 年前。 我一直在尝试使用 Tomcat 的 native 连接池功能来避免我的 Java W
我正在使用 Phonegap/Cordova 开发 Android 应用程序。我已经按照这样的百分比安排了我的布局(在 CSS 中): 标题 - 50px; Content_row1 - 30%(剩下
我正在编写一个插件,它将表情符号转换为特定站点文本 block 中的图像。简单的答案是使用正则表达式检测 innerHTML 上的触发文本并插入 img 标签,然后将字符串通过管道返回到 innerH
如何避免在我的 Drupal View 上重复? 我应该添加一个过滤器,指定特定字段(即用户 ID)不应出现两次吗?我找不到这样的选项 看法 http://dl.dropbox.com/u/72686
感谢您查看我的 typescript 问题。 为简单起见,我对 typescript “过度属性检查”行为有疑问。我想确保 TypeScript 不接受具有额外属性的对象。 在我的简单界面示例中,OF
我发现对于某些图表,我从 Prometheus 获得了 doubles 值,其中应该只是一个: 我使用的查询: increase(signups_count[4m]) 抓取间隔设置为 recommen
假设我正在运行N个线程。 每个线程都需要与下一个和上一个同步。 for (i = 0 ; i < NITER; i++){ do_something (); sync_
如今,服务器虚拟化是一件大事,所以我的任务是在虚拟化服务器上安装我们的一些软件,看看会发生什么。长话短说:rsync 传输会立即使虚拟化服务器崩溃。虚拟化主机是一台强大的机器,没有其他负载;我认为
以下正则表达式在应用于大型 html 页面时会创建 StackOverflowError: (.|\s)*? 我的假设是,这是由于逻辑“OR”运算符(|)在匹配器中创建了递归调用,并且由于需要解析的
我在运行时使用表达式树构建委托(delegate): Type type = GetType(); ParameterExpression parameterType = Expression.Par
我正在使用 scikit-learn TfidfVectorizer 找出两个文档中最重要的单词。每个文档大小为 1.9GB(约 9000 万字),并且已采用小写、词干化(使用 nltk.stem.p
我进行了一个中间件调用来获取 String 数组,如下所示: String[] freqwords = MViewer.getWordNames(); 问题是可能没有可用数据,因此任何进一步的操作(如
在 JavaFx 中,我使用以下代码创建一个 StackedBarChart: String[] ACTIVITIES = new String[10]{ ... };// there
我正在尝试制作一个使用类 AnimationTimer 来处理它的游戏。我的代码摘要如下所示: 主类 object Game extends JFXApp{ def showMenu{
我正在用不同的步骤创建一个小的 javascript/jQuery 应用程序。为此,我使用了一个具有不同功能的 js 文件。 在文件的顶部我调用了我的第一个函数。在我的第一个函数中,我在单击按钮时调用
我正在使用表格 View 来显示从服务器加载的文本字段数组,所以我有一个表格 View 字段列表,当我填充这些数据字段并向下滚动以填充其他字段时,当我再次向上滚动时,我发现值发生变化并且存在重复值 -
我是一名优秀的程序员,十分优秀!