java - 如何在没有Hadoop的情况下运行Apache Crunch应用程序？

Question

我听说Apache Crunch是一个外观，它可以在没有Hadoop的情况下运行应用程序。这是真的？

如果是，那该怎么做？

在Apache Crunch Getting Started中，第一个示例包括hadoop命令:

$ hadoop jar target/crunch-demo-1.0-SNAPSHOT-job.jar <in> <out>

可以省略 hadoop吗？

Answer 1

也许您误会了您不需要Hadoop 集群。 Hive，Pig，Spark都可以在本地运行，也可以在HDFS以外的文件系统上运行。

据我对库的了解，您确实需要Hadoop API(这是hadoop jar将为您加载的内容)。

换句话说，您可以将输入和输出目录设置为本地file://路径，以避开需要HDFS的麻烦。

您可以自己export CLASSPATH包括Hadoop库，并运行java jar来运行JAR。