hadoop - 工作跟踪器的未知协议(protocol)

Question

我正在尝试在 DataStax 3.1 中运行 Hadoop mapreduce 作业并收到此错误。关于原因的任何想法？

引起:org.apache.hadoop.ipc.RemoteException:java.io.IOException:作业跟踪器的未知协议(protocol):org.apache.hadoop.hdfs.protocol.ClientProtocol
在 org.apache.hadoop.mapred.JobTracker.getProtocolVersion(JobTracker.java:347)
在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAcc

Answer 1

引用 Hadoop 源文档:

org.apache.hadoop.hdfs.protocol.ClientProtocol is used by user code via org.apache.hadoop.hdfs.DistributedFileSystem class to communicate with the NameNode.

DSE 不附带 NameNodes 或 DataNodes - 它们是 Apache Hadoop HDFS 的一部分，在 DSE 中它们已被 Cassandra 文件系统取代。

堆栈跟踪表明您正在使用 HDFS 协议(protocol)连接到 JobTracker 节点，这表明您错误地汇总了您的作业。

使用 DSE，您应该通过调用以下命令提交您的 M/R 作业:

dse hadoop jar <your M/R jar file> <your M/R main class> [args]

并访问 Cassandra 文件系统:

dse hadoop fs <file system command> [args]

您可以在 DSE Hadoop Documentation 中找到更多信息.