machine-learning - Mahout FPG 算法始终使用单个 reducer

Question

我正在使用Mahout (v 0.7) parallel FPG algorithm ，CLI模式，生成频繁模式。该算法运行良好并正确生成频繁模式。

我遇到的问题是该算法在生成模式的第二阶段始终使用一个 reducer 。该算法为每个输入分割创建一个映射器，但在第二阶段，所有映射器将其输出发送到一个 reducer ，这显着减慢了算法速度。

我什至尝试设置-Dmapred.reduce.tasks参数来覆盖默认的reducers数量，但它不起作用。

如果可能的话，我想将第二阶段的工作分成多个reducer。

我使用的 Mahout 的 FPG 命令:

 mahout fpg \
     -i /path/to/input \
     -o /path/to/output \
     -s 5 \
     -k 100 \
     -method mapreduce

Answer 1

您可以通过在命令末尾添加以下内容来更改映射器和化简器的数量:

 -Dmapred.map.tasks=1000 -Dmapred.reduce.tasks=1000

对我来说，我无法使用此参数更改映射器的数量，但我始终能够控制 reducer 的数量。