hadoop - 如何从另一个Java程序以编程方式执行MapReduce jar？

Question

我有MapReduce程序(DataProfiler.jar)，该程序通过将表名和列名作为命令行参数来执行一些数据分析。

hadoop -jar DataProfiler.jar -D tableName=MyTable -D columnFamilyName=CF1

有没有一种方法可以将其包装在另一个Java程序中。这样我就可以对所有表执行此jar(通过连接到数据库并获取所有表和列的列表)。

谢谢!

Answer 1

我建议，您可以以一些通用的方式编写逻辑MapReduce驱动程序类，而不是从简单的Java程序中调用MapReduce jar。

我们将此类称为JobRunner。您可以定义member variables，它将保存有关您需要处理的table和columns的信息。然后，您可以设置MapReduce配置并开始作业。从技术上讲，您可以达到相同但略有不同的方式。我认为这比调用jar并启动MapReduce作业更好。