gpt4 book ai didi

java - Hadoop context.write()缓冲区大小

转载 作者:行者123 更新时间:2023-12-02 21:36:28 24 4
gpt4 key购买 nike

我正在使用context.write()与puts从Mapper写入HBase。
根据此mailing listcontext.write()不会立即刷新,并在将缓冲区异步设置到服务器之前等待缓冲区已满。

如何设置Mapper输出的缓冲区大小。目的是通过调整缓冲区大小来减少对HBase表的RPC调用。

最佳答案

HBase客户端缓冲区可以通过参数hbase.client.write.buffer进行配置

除了增加客户端缓冲区之外,您还可以查看此reference以优化对hbase的写入。

关于java - Hadoop context.write()缓冲区大小,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31880134/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com