java - 如何全局读取MapReduce应用程序的辅助数据文件？

Question

我编写了一个MapReduce应用程序，该应用程序检查是否有大量测试点(约3000组x，y，x坐标)落在一组多边形内。输入文件的格式如下:

{Polygon_1 Coords} {TestPointSet_1 Coords}
{Polygon_2 Coords} {TestPointSet_1 Coords}
...
{Polygon_1 Coords} {TestPointSet_2 Coords}
{Polygon_2 Coords} {TestPointSet_2 Coords}
...

每个MR作业只有一个输入文件，每个文件的大小最终约为500 MB。我的代码效果很好，工作可以在几秒钟内运行。但是，存在一个主要瓶颈-将数百个这些输入文件传输到我的Hadoop集群所需的时间。如果我想出一种方法来读入一个辅助数据文件，该数据包含每个TestPointSet的一个副本，然后指定要在我的输入文件中使用的设置，则可以大大减少文件大小。

是否可以读取此额外的数据文件并将其全局存储，以便可以在多个映射器调用之间进行访问？

这是我第一次用MR或Java编写代码，因此我可能没有意识到一个非常简单的解决方案。提前致谢!

Answer 1

可以使用hadoop的分布式缓存功能来实现。 DistributedCache是Map-Reduce框架提供的一种工具，用于缓存应用程序所需的文件(文本，文件， jar 等).Google可以找到代码示例。