linux - 如何加载这么大的 hadoop 文件？

Question

如何加载这么大的hadoop文件？

我需要将一些文件从 hadoop 加载到本地 USB。

一个目录下有个奇怪的文件，只有一个名字“-”，而且大小超过45G。我首先使用hadoop fs -get 将数据获取到本地linux VM，然后使用WinSCP 将数据加载到本地USB。但是我本地Linux VM的容量只有19G。如何做到这一点？

我正在考虑使用 hadoop 命令将 45G 文件拆分为更小的文件。但是我还没有找到这样的命令。

Answer 1

您可以尝试以下方法:

1. 使用hadoop fs -get 命令并将所有数据保存到虚拟机的磁盘中。
2. 使用 split -b 10240K hadoopfile splitflie ，以每 10GB 为单位拆分文件。
3. 将每个零件文件移动到您的 USB。
4. 在您的目的地使用 cat splitfile* > hadoopfile 将其合并为一个文件。