hadoop - 从一个集群传输到另一个集群时，hadoop 加密数据中的 distcp 是否存在

Question

我想知道 distcp 是否可以选择在从一个集群传输到另一个集群时加密数据。我知道它确实支持 S3 集群中的加密，但这与亚马逊的 S3 有关。如果我们将纯文本文件从一个集群移动到另一个集群会怎样？它会被加密还是发送纯文本？如果支持，我们可以启用这种加密吗？

Answer 1

来自 HDFS documentation :

Once a KMS has been set up and the NameNode and HDFS clients have beencorrectly configured, an admin can use the hadoop key and hdfs cryptocommand-line tools to create encryption keys and set up new encryptionzones. Existing data can be encrypted by copying it into the newencryption zones using tools like distcp.

希望对您有所帮助。