hadoop - HFileOutputFormat 是否启动 reducer ？

Question

我使用 HFileOutputFormat 将 CSV 文件批量加载到 hbase 表中。我只有 map 而没有使用 job.setNumReduceTasks(0) 的 reduce 任务。但是我可以看到一个reducer在作业中运行，这个reducer是因为HFileOutputFormat而启动的吗？
以前我在同一个工作中使用 TableOutputFormat，其中从未运行过 reducer。我最近重构了 map 任务以使用 HFileOutputFormat，但现在经过此更改后，我可以看到一个 reducer 正在运行。

其次，我在 reducer 中遇到了以下错误，这是我之前使用 TableOutputFormat 时没有得到的，这是否也与 HFileOutputFormat 相关？

错误:java.lang.ClassNotFoundException:com.google.common.base.Preconditions

Answer 1

HFileOutputFormat 确实启动了一个(对于 HFiles 必要的)reduce 任务。

错误在那里弹出 Hadoop 需要 Google 的 Guava 库才能生成 HFile。让 Hadoop 找到这个库的最简单方法是从 $HBASE_HOME/lib/ 复制它。至 $HADOOP_HOME/lib/ .寻找guava-<version>.jar .