hadoop - 如何直接从网页下载文件，不使用本地，直接将文件放在HDFS中？

Question

我需要一些帮助。我正在使用 python 代码从网页下载文件并将其放置在本地文件系统中，然后使用 put 命令将其传输到 HDFS，然后对其执行操作。

但在某些情况下，文件可能会非常大，下载到本地文件系统并不是一个正确的过程。所以我希望文件直接下载到 HDFS 中，而不使用本地文件系统。

任何人都可以建议我一些方法，哪一种是最好的方法？如果我的问题有任何错误，请指正。

Answer 1

您可以直接从下载中传输它以避免将其写入磁盘，例如:

curl server.com/my/file | hdfs dfs -put - destination/file

-put 的 - 参数告诉它从标准输入读取(参见 documentation )。

不过，这仍然会通过您的本地计算机路由下载，只是不会通过您的本地文件系统。如果您想根本不使用本地机器来下载文件，您可以编写一个 map-only MapReduce 作业，其任务接受例如一个包含要下载的文件列表的输入文件，然后下载它们并流出结果。请注意，这将要求您的集群开放访问互联网，这通常是不可取的。