hadoop - 试图将超过 32 个 hfiles 加载到一个区域的一个家庭

Question

我正在将大量文件导入到 HBase 表中，所以我决定使用批量加载 9.8. Bulk Loading .我已经设法通过 MapReduce 作业准备数据，但是当我尝试使用此命令完成加载时

hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles <src> <target_table>

出现以下错误:

ERROR mapreduce.LoadIncrementalHFiles: Trying to load more than 32 hfiles to family d of region with start key
Exception in thread "main" java.io.IOException: Trying to load more than 32 hfiles to one family of one region
        at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.doBulkLoad(LoadIncrementalHFiles.java:288)
        at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.run(LoadIncrementalHFiles.java:842)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
        at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.main(LoadIncrementalHFiles.java:847)

您知道如何更改每个家庭和地区的 hfile 数量吗？是否可以从 CLI 更改它？

Answer 1

您可以在 hbase-site.xml 文件中配置 "hbase.hregion.max.filesize" 或将 -D 参数配置为更高的值(可能根据您的输入文件大小)，以便创建的 hfiles 数量将会减少。 默认值为 10 GB。

或者您可以在 hbase-site.xml 中配置 "hbase.mapreduce.bulkload.max.hfiles.perRegion.perFamily" 或将 -D 参数配置为更高的值(最大数量hfiles created for a column family 这可以从 HDFS 中找到)。 默认值为 32。