python - 使用 Hadoop 运行 jar 文件 - Python

Question

我有一个现有的 Python 程序，它具有如下所示的一系列操作:

1. 连接到 MySQL DB 并将文件检索到本地 FS。
2. 运行对这些文件进行操作的程序 X。类似于:java -jar X.jar <folder_name>这将打开文件夹中的每个文件并对它们执行一些操作，并将相同数量的转换文件写入另一个文件夹。
3. 然后，运行对这些 文件进行操作的程序 Y:java -jar Y.jar <folder_name>这将创建多个文件，每个文件一行，然后使用合并功能将其合并为一个文件。
4. 此合并后的文件将作为进一步操作和分析的输入，这些操作和分析对这个问题来说并不重要。

我想利用 Hadoop 来加速操作 Y，因为如果存在以下情况，它需要很长时间才能完成:a) 更多数量的文件或 b) 要操作的大输入文件。

我想知道的是，首先使用 Hadoop 来做这种性质的事情是否是个好主意，以及线程在这种情况下是否更有意义。请记住，X 和 Y 是不能以任何方式替换或更改的东西。

我想出了这个主意:

1. 在上面的第 2 步之后，在映射器中，将文件复制到 HDFS 中，然后再次退出，运行 jar 文件，此时结果将写回 HDFS。我将结果复制回文件系统并将其发送以供进一步处理。

我想知道这是否有意义，特别是考虑到映射器需要一个 (key,value) 对，在这种情况下我什至会有一个 k-v 对吗？

我知道这听起来像一个项目，那是因为它确实是，但我不是在寻找代码，只是寻找一些关于这是否可行的指导，如果可行，正确的做法是什么这是如果我提出的解决方案不准确(足够)。

谢谢!

Answer 1

您绝对可以使用 hadoop mapreduce 框架来完成您的工作，但是否是个好主意的答案可能是“视情况而定”。这取决于您要处理的文件的数量和大小。

请记住，hdfs 不太擅长处理小文件，如果您有大量(比如 1000 万)小文件(大小小于 1k 字节)，它对名称节点来说可能是一场灾难。另一方面，如果尺寸太大但只需要几个文件来继续，那么直接将步骤#2 包装在映射器中并不酷，因为作业不会广泛均匀地分布(在这种情况下我猜键值只能是“文件号 - 文件内容”或“文件名 - 文件内容”，因为你提到 X 不能以任何方式改变。实际上，“行号 - 行”会更合适)

顺便说一句，有两种方法可以利用 hadoop mapreduce 框架，一种方法是在 java 中编写 mapper/reducer 并在 jar 中编译它们，然后使用 hadoop jar you_job.jar 运行 mapreduce 作业。另一种方式是 streaming ，你可以用python这样写mapper/reducer。