java - HBase 中如何实现缓冲写入的大小？

Question

HBase 允许您以批处理模式进行放入。您可以以字节为单位指定批量大小。每当底层缓冲区已满时，就会将其推送到服务器。

HBase 如何计算每个 put 的大小？有什么方法可以动态计算Java对象的大小吗？如果可以的话，可以便宜地计算吗？

Answer 1

HBase 使用 Put 和 KeyValue 大小的启发式近似来决定何时刷新缓冲写入器，正如我们可以的那样 see here .

heapSize() 方法是由 HeapSize 引入的接口(interface)，其中KeyValue和 Put两者都实现。

特别注意，KeyValue 使用对其自身实现的了解来仅提供对其自身大小的合理准确的估计。没有语言级别的魔法可以精确计算大小。

KeyValue#heapSize 是一个恒定时间算法。 Put#heapSize 与所包含的 KeyValues 数量成线性关系，我希望它对于大多数用途来说足够快，因为单个 put 通常少于一千个单元。