gpt4 book ai didi

hbase - HBase 是否对每行施加了最大大小?

转载 作者:行者123 更新时间:2023-12-01 08:52:44 26 4
gpt4 key购买 nike

高级问题:

HBase 是否对所有分布(因此不是实现的工件)通用的每行施加了最大大小,无论是在 方面吗?字节存储 或在 方面细胞数 ?

如果是这样:

  • 限制是什么?
  • 极限存在的原因是什么?
  • 限制在哪里记录?

  • 如果不是:
  • 是否有文档(或测试结果)可以证明 HBase 处理超过 2GB 的行的能力? 4GB?
  • 是否存在实际或“最佳实践”最大值,HBase API 用户应在该最大值下保持行大小以避免严重的性能下降?如果是这样,如果丢弃该指南,会发生什么样的性能下降?

  • 无论哪种情况:
  • 答案是否取决于相关的 HBase 版本?

  • 背景:
  • HBase API 的至少一种实现似乎确实现加了限制; MapR 表 ,它使用 MapR 的专有 MapR-FS 作为表底层的存储层,出现在 impose a hard limit of 2GB per row and a configurable soft limit which defaults to 32MB . HBase API 的其他流行实现是否也施加了这样的限制?
  • Quora response from HBase committer Todd Lipcon in 2011表明在细胞数量方面没有限制。但是,它也表明“负载均衡和分布的单位是区域,行永远不会跨区域拆分”。 行存在于单个区域中的要求是否对行大小施加了硬限制,或实际限制,超过了性能下降会变得严重吗?
  • 最佳答案

    一行必须适合一个区域文件才能分配给区域服务器并进行复制。区域文件大小可通过“hbase.hregion.max.filesize”配置

    这个页面说它将是 10gb 默认/最大 http://hortonworks.com/blog/apache-hbase-region-splitting-and-merging/

    这个页面说可以设置为100gb

    To disable automatic splitting, set hbase.hregion.max.filesize to a very large value, such as 100 GB It is not recommended to set it to its absolute maximum value of Long.MAX_VALUE. http://hbase.apache.org/book.html#important_configurations

    关于hbase - HBase 是否对每行施加了最大大小?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37844141/

    26 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com