hadoop - 无法运行 hadoop 流作业 : Missing required options: input, 输出

Question

我正在尝试在 DSE 3.1 分析服务器集群上运行流媒体作业。我正在使用 Cassandra CF 进行输入。但它提示输入和输出参数，但它们已设置(我设置它只是因为提示):

dse hadoop jar $HADOOP_HOME/lib/hadoop-streaming-1.0.4.8.jar \
-D cassandra.input.keyspace="tmp_ks" \
-D cassandra.input.partitioner.class="MurMur3Partitioner" \
-D cassandra.input.columnfamily="tmp_cf" \
-D cassandra.consistencylevel.read="ONE" \
-D cassandra.input.widerows=true \
-D cassandra.input.thrift.address=10.0.0.1
-inputformat org.apache.cassandra.hadoop.ColumnFamilyInputFormat \
-outputformat org.apache.hadoop.mapred.lib.NullOutputFormat \
-input /tmp_ks/tmp_cf \
-output /dev/null \
-mapper mymapper.py \
-reducer myreducer.py

得到“错误流。StreamJob:缺少必需的选项:输入，输出”。我尝试了不同的输入和输出，不同的输出格式，但得到了同样的错误。

我做错了什么？

Answer 1

我注意到你命令的这一部分没有结尾的反斜杠:

...
-D cassandra.input.thrift.address=10.0.0.1
...

也许这搞砸了后面的几行？