hadoop - 在不使用distcp命令的情况下将配置单元数据从一个Hadoop群集移动到另一个群集？

Question

如何在不使用distcp命令的情况下将配置单元数据从一个Hadoop群集移动到另一个Hadoop群集。由于我们无法使用此功能。我们还有其他选择吗，例如Sqoop或Flume？

Answer 1

distcp 是将大量数据从一个hadoop集群移动到另一个hadoop集群的有效方法。

Sqoop和Flume无法用于将数据从一个hadoop集群传输到另一个集群。 Sqoop主要用于在hadoop和关系数据库之间移动数据，而Flume用于将流数据摄取到Hadoop。

您的另一个选择是使用:

像Kafka这样的

高吞吐量msg队列，但是这比使用distcp更加复杂。

使用传统的hadoop fs shell命令(例如cp或get)，然后使用put

仅供引用，在谈论Hive数据时，还应该考虑使Hive元数据(元存储)在群集之间保持同步。