Hadoop:如何访问(许多)要由 map/reduce 处理的照片图像？

Question

我在本地文件系统上保存了超过 1000 万张照片。现在我想通过它们中的每一个来分析照片的二进制文件，看看它是否是一只狗。我基本上想在集群 hadoop 环境中进行分析。问题是，我应该如何设计 map 方法的输入？比方说，在 map 方法中，new FaceDetection(photoInputStream).isDog() 是分析的所有底层逻辑。

具体来说，我应该将所有照片上传到 HDFS 吗？假设是，

1. 如何在 map 方法中使用它们？

2. 是否可以将输入(到 map)作为包含所有照片路径(在 HDFS 中)的文本文件，每行，并在 map 方法中加载二进制文件，如:photoInputStream = getImageFromHDFS(photopath);(实际上，什么是在执行 map 方法？)

hadoop、map/reduce 和hdfs 的基本原理好像漏掉了一些知识，请指点一下针对以上问题，谢谢!

Answer 1

how can I use them in the map method?

主要问题是每个文件都将在一个文件中。所以如果你有 10M 个文件，你将有 10M 个映射器，这听起来不太合理。您可能需要考虑将文件预序列化为 SequenceFiles (每个键值对一个图像)。这将使数据加载到本地 MapReduce 作业中，因此您不必编写任何棘手的代码。此外，如果您愿意，您还可以将所有 数据存储到一个 SequenceFile 中。 Hadoop 可以很好地处理拆分 SequenceFiles。

基本上，它的工作方式是，您将拥有一个单独的 Java 进程，该进程获取多个图像文件，将射线字节读取到内存中，然后将数据存储到 SequenceFile 中的键值对中。继续并继续写入 HDFS。这可能需要一段时间，但您只需执行一次。

---

Is it ok to make the input(to the map) as a text file containing all of the photo path(in HDFS) with each a line, and in the map method, load the binary like: photoInputStream = getImageFromHDFS(photopath); (Actually, what is the right method to load file from HDFS during the execution of the map method?)

如果您有任何类型的合理集群(如果您为此考虑使用 Hadoop，则应该这样做)并且您确实想要使用 Hadoop 的强大功能，那么这就不行了。您的 MapReduce 作业将启动并加载文件，但映射器将运行文本文件本地数据，而不是图像!因此，基本上，由于 JobTracker 不会将任务放置在文件所在的位置，因此您将到处移动图像文件。这将产生大量的网络开销。如果您有 1TB 的图像，如果您有多个节点，则可以预期其中很多图像将通过网络流式传输。根据您的情况和集群大小(少于少数节点)，这可能不是那么糟糕。

如果你确实想这样做，你可以使用 FileSystem用于创建文件的 API(您需要 open 方法)。