hadoop - 将Hadoop集群从Big Insights迁移到Cloudera

Question

将1 TB大小的群集从Big Insights迁移到Cloudera的最佳方法是什么？

Cloudera是内核集群。

我们正在遵循的当前方法是分批进行:
一种。将集群移至Unix文件系统
b。 SCP到Cloudera文件系统
C。从cloudera文件系统转储到cloudera HDFS

这不是有效的方法

Answer 1

Distcp确实适用于kerberized集群

但是，尚不清楚您实际上是否拥有333GB x3副本= 1TB或实际上1TB的原始数据。

无论哪种情况，都非常欢迎您购买外部4TB(或更多)驱动器，并用copyToLocal群集中的每个文件，然后将其上传到其他任何地方。