hadoop - 如何让 mahout 与 hadoop HDFS 交互

Question

我使用的是 HDP mahout 0.8 版。我已经设置了 MAHOUT_LOCAL=""。当我运行 mahout 时，我看到消息 HADOOP LOCAL NOT SET RUNNING ON HADOOP 但我的程序没有将输出写入 HDFS 目录。

谁能告诉我如何让我的 mahout 程序从 HDFS 获取输入并将输出写入 HDFS？

Answer 1

您是否设置了 $MAHOUT_HOME/bin和 $HADOOP_HOME/bin在路径上？

例如在 Linux 上:
export PATH=$PATH:$MAHOUT_HOME/bin/:$HADOOP_HOME/bin/
export HADOOP_CONF_DIR=$HADOOP_HOME/conf/

然后，几乎所有 Mahout 的命令都使用选项 -i(输入)和 -o(输出)。

例如:

mahout seqdirectory -i <input_path> -o <output_path> -chunk 64