gpt4 book ai didi

hadoop - HBase 批量写入 : which one better on performance, 还是 put(List)?

转载 作者:可可西里 更新时间:2023-11-01 14:28:42 27 4
gpt4 key购买 nike

开始学习HBase写数据流。我使用 HTableInterface 并且在性能上有问题。仅插入 500 行就花费了很多时间,我插入的每个批处理 List 将近 500,000 毫秒。

关于使用 HTableInterface 批量写入 HTable 的任何示例或建议?我正在使用 HBase 0.94

谢谢

最佳答案

它们本质上是一样的:batch(List<? extends Row> actions, Object[] results)不仅允许放置,还允许获取、删除、递增... put(List<Put> puts)只需做一批 put(它还会在客户端验证它们)。

您还可以通过禁用 table.setAutoFlush(false) 来执行批处理,发布标准 put 到表中,然后用 table.flushCommits() 刷新缓冲区.

我不知道您的行的大小,但除非它们很大,否则您的配置似乎存在某种问题(可能是网络延迟?),即使逐行执行 500 次放置也应该执行得更快.

关于hadoop - HBase 批量写入 : which one better on performance, 还是 put(List<Put>)?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28229038/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com