hbase - HBase 批处理 put(List) 比 put(Put) 快吗？ Put 对象的容量是多少？

Question

我正在处理批处理作业，以通过 HTableInterface 将一批 Put 对象处理到 HBase 中。有两个 API 方法，HTableInterface.put(List) 和 HTableInterface.put(Put)。

我想知道，对于相同数量的 Put 对象，批量放置是否比将它们一个一个放置更快？

另一个问题是，我放置了一个非常大的 Put 对象，这导致作业失败。 Put 对象的大小似乎有限制。它可以有多大？

Answer 1

put(List<Put> puts)或 put(Put aPut)引擎盖下是一样的。他们都打电话doPut(List<Put> puts) .

重要的是@ozhang 提到的缓冲区大小。例如默认值为 2MB。

<property>   
     <name>hbase.client.write.buffer</name>
     <value>2097152</value> 
</property>

每次写缓冲区填满都会有 1 个 RPC 和一个 flushCommits()被触发。因此，如果您的应用程序由于对象相对较大而经常刷新，那么尝试增加写入缓冲区大小将解决问题。