hadoop - 如何将存储在另一台(非分布式)服务器上的HDFS文件中的数据存档？

Question

我有一个项目文件夹包含大约。在 hadoop集群( CDH 5.14 )上，需要50 GB的 Parquet 文件(我需要将和存档移至，将移至)，而另一台Linux (带有Linux发行版的idit_rstrong或非Windows主机)也可以。这只是一次作业-我不打算很快将数据带回HDFS，但是应该有一种方法将其部署回到分布式文件系统。最佳的方式是什么？不幸的是，我没有另一个可放置此数据的Hadoop集群或云环境。
我将不胜感激。

Answer 1

最佳解决方案可能取决于实际数据(例如表格，许多/很少的平面文件)。如果您知道他们是如何到达那里的，那么看看相反的方向可能是合乎逻辑的第一步。

例如，如果仅使用put放置文件，请考虑使用get。

如果您使用Nifi进行导入，请尝试使用Nifi进行导出。

将数据放在Linux机器上之后，您可以使用SCP或类似FTP的方法或已安装的驱动器将其移动到所需的计算机上。