hadoop - MapReduce:使用 Python[Streaming] 编写序列文件

Question

我正在尝试在 MapReduce 中编写序列文件。我用 java 成功地做到了，但我不确定如何用 python 做到这一点。

谢谢!

Answer 1

Hadoop 接受 Streaming 命令选项 -outputformat。
要将输出文件生成为序列文件，请使用-outputformat SequenceFileOutputFormat。

例如:

$HADOOP_HOME/bin/hadoop  jar $HADOOP_HOME/hadoop-streaming.jar \
    -input myInputDirs \
    -output myOutputDir \
    -outputformat org.apache.hadoop.mapred.SequenceFileOutputFormat\
    -mapper MapperClass \
    -reducer ReducerClass

默认情况下，-inputformat和-outputformat分别设置为TextInputFormat和TextOutputFormat。