gpt4 book ai didi

java - HBase扫描操作缓存

转载 作者:可可西里 更新时间:2023-11-01 15:05:46 27 4
gpt4 key购买 nike

HBase扫描机制上的setCaching和setBatch有什么区别?在扫描大量数据期间,我必须使用什么才能获得最佳性能?

最佳答案

除非你有包含许多列(或非常大的列)的超宽表,否则你应该完全忘记 setBatch() 并专注于 setCaching():


setCaching(int 缓存)

设置将传递给扫描仪的缓存行数。如果未设置,将应用配置设置 HConstants.HBASE_CLIENT_SCANNER_CACHING。较高的缓存值将启用更快的扫描器,但会使用更多内存。

setBatch(int batch)

设置每次调用 next() 返回值的最大数量


setBatch 是关于每次调用/迭代应返回的行值的数量。这是一篇关于它的好帖子:http://blog.jdwyah.com/2013/08/hbase-scan-batch-vs-cache.html

关于java - HBase扫描操作缓存,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28456876/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com